1.环境准备
Centos7.5系统
hadoop版本3.1
1.1资源分配
主机名
|
地址
|
角色
|
node01
|
10.10.0.11
|
namenode
|
node02
|
10.10.0.12
|
secondarynamenode
datanode
|
node03
|
10.10.0.13
|
datanode |
node04
|
10.10.0.14
|
datanode
|
1.2.所有节点分别配置免密登录 略
说明:免密配好后以下都是在node01上执行的
1.3.安装pssh配置 工具
yum install pssh -y
[root@node01 ~]# cat ~/hosts.list node01:22 node02:22 node03:22 node04:22
1.4.编辑node1的hosts文件
10.10.0.11 node01 10.10.0.12 node02 10.10.0.13 node03 10.10.0.14 node04
1.5.配置jdk的环境变量 略 (所有节点)
1.6.分发hosts配置
pscp.pssh -h hosts.list /etc/hosts /etc/
2.配置hadoop
所有配置均在/opt/hadoop-3.1.1/etc/hadoop 目录下完成
2.1.编辑hadoop-env.sh 添加如下配置
echo $JAVA_HOME #根据得到路径配置 hadoop-env.sh 里JAVA_HOME的路径
export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root
2.2.编辑core-site.xml
<configuration> <property> <name>fs.defaultFS</name> #配置默认的主节点为node01 <value>hdfs://node01:9000</value> </property> #更改临时目录,将原先存到/tmp目录下改存放到/var/hadoop/peseudo #namenode的元数据,datanode的block,也默认保存在这个临时目录 <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop/full</value> </property> </configuration>
2.3.编辑hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> #代表副本 <value>2</value> </property> <property> <name>dfs.namenode.secondary.http.address</name> #代表从节点的访问地址 <value>node02:9868</value> </property> </configuration>
2.4.编辑worker
node02
node03
node04
3使用pssh工具批量分发配置好的 hadoop安装包
pscp.pssh -h ~/hosts.list -r /opt/hadoop-3.1.1 /opt/
4.启动hadoop分布式集群
4.1.配置hadoop的环境变量编辑/etc/profile
export HADOOP_HOME=/opt/hadoop-3.1.1 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.2.分发修改后的配置
pscp.pssh -h ~/hosts.list /etc/profile /etc/
4.3.批量执行生效配置
pssh -h hosts.list -i 'source /etc/profile'
4.4.验证hadoop环境变量配置
hdfs --help #能显示帮助信息表示hadoop环境配置成功,就不必在使用在绝对路径下执行相关命令了
4.5.在namenode节点上(node01)格式化
[root@node01 ~]# hdfs namenode -format
4.6进入到对应的存储目录查看
[root@node01 current]# cd /var/hadoop/full/dfs/name/current/ [root@node01 current]# ll total 16 -rw-r--r-- 1 root root 389 Dec 13 00:32 fsimage_0000000000000000000 -rw-r--r-- 1 root root 62 Dec 13 00:32 fsimage_0000000000000000000.md5 -rw-r--r-- 1 root root 2 Dec 13 00:32 seen_txid -rw-r--r-- 1 root root 214 Dec 13 00:32 VERSION
4.6.在node1上启动所有节点所有角色
[root@node01 ~]# kill -9 2755 [root@node01 ~]# start-dfs.sh Starting namenodes on [node01] Last login: Thu Dec 13 01:26:04 CST 2018 on pts/0 Starting datanodes Last login: Thu Dec 13 01:27:00 CST 2018 on pts/0 Starting secondary namenodes [node02] Last login: Thu Dec 13 01:27:02 CST 2018 on pts/0
4.7.在各个节点查看所属角色
各节点的角色符合配置定义的。