四大模式包括:
1、本地模式(独立模式):(无需任何守护进程,直接运行在JVM上,存储文件相当于服务器本地文件)
2、伪分布模式(各个进程运行在hadoop的守护进程中,但并不是真正的分布式,因为都在一台机器上)
3、完全分布式(各个进程运行在多个服务器上)
4、HA高可用配置(两个名称节点共存(一个active、一个standby)高可用配置)
备注:
1、hadoop的各个守护进程:
(namenode 名称节点 )、(secondarynamenode 辅助名称节点)、(datanode 数据节点)
、(resourcemanager 名称节点资源管理器 )、(NodeManager 名称节点资源管理器)
、(journaynode HA环境时用来同步名称节点之间的日志的)
前期准备:
1、使用虚拟机,配制一个centos 7系统 (暂时,后续复制即可)
2、环境上配置jdk,新建一个用户名hadoop,用于后续的关于环境的搭建使用,建议不要直接使用root去操作,(但对于初学者建议使用root用户配置,防止权限问题)
一、本地模式(独立模式)
1、将hadoop-2.9.1.tar.gz包复制到服务器(本机复制到/home/hadoop/hadoop目录下)
下载地址:可通过官网下载:http://mirrors.hust.edu.cn/apache/hadoop/common/
百度云地址:链接:https://pan.baidu.com/s/15VeoyKmcrWVtcgbZi9B-mg 提取码:jobt
解压文件:$> tar -zxvf hadoop-2.9.1.tar.gz
修改解压文件名为 dev
2、配置hadoop的环境变量 编辑 /etc/profile 文件
#hadoop配置
HADOOP_HOME=/home/hadoop/hadoop/dev
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#hadoop配置
备注:注意配置本地的hadoop位置
source /etc/profile 刷新环境变量
3、修改hadoop配置中的java环境 :
修改hadoop-env.sh文件中的
备注:JAVA_HOME 的路径与环境变量的一致,有些可能不需要 ,但报错的时候注意一定得修改
3、查看是否配置成功
在任何目录下执行命令 : $>hdfs
若出来,hdfs的命令帮助 就代表配置成功
备注:为什么叫本地模式:(管理文件为本地文件)
输入命令:$>hdfs dfs -ls /
查看文件信息 ,发现所属是本地服务器文件
可能出现问题汇总:
1、环境变量配置完后,输入hdfs报找不到命令,首先确定 java环境配置好,然后查看hadoop的环境是否配置好与本地一致
查看环境变量命令 $>echo $PATH
确认之后,进一步测试。
二、伪分布模式
链接:https://blog.csdn.net/weixin_39435629/article/details/84841252
二、完全分布模式
二、HA高可用模式