集群环境配置说明:
hdfs111(192.168.1.111)----主机,namenode
hdfs112(192.168.1.111)---- datanode
hdfs113(192.168.1.111)---- datanode
准备工作
启动虚拟机主机192.168.1.111,执行以下操作:
搭建HDFS集群
-
克隆虚拟机
-
修改配置文件(进入目录:cd bigdata/software/hadoop-2.8.4/etc/hadoop)
1) 修改hadoop-env.sh
2) 修改core-site.xml
<!--配置HDFS主节点的地址,就是NameNode的地址-->
<!--9000是RPC通信的端口-->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdfs111:9000</value>
</property>
</configuration>
3) 修改hdfs-site.xml
//配置元数据namenode和数据datanode存储位置
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/bigdata/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/bigdata/hdfs/data</value>
</property>
</configuration>
3.配置hadoop环境变量
vi /etc/profile 编辑配置文件,新增hadoop环境变量
export JAVA_HOME=/root/bigdata/software/jdk1.8.0_141
export HADOOP_HOME=/root/bigdata/software/hadoop-2.8.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
按Esc键,输入:wq 退出保存
source /etc/profile 使环境变量生效
4.格式化namenode
hadoop namenode -format 格式化namenode,自动生成元数据存储目录
5.分发hadoop到其他虚拟机
1)分发hadoop包
scp -r ~/bigdata/software/hadoop-2.8.4/ hdfs112:~/bigdata/software/
scp -r ~/bigdata/software/hadoop-2.8.4/ hdfs113:~/bigdata/software/
2)分发hadoop环境变量配置
scp -r /etc/profile hdfs112:/etc
scp -r /etc/profile hdfs113:/etc
在hdfs112和hdfs113上执行: source /etc/profile 使环境变量生效
6.启动namenode和datanode
1)启动namenode
hadoop-daemon.sh start namenode
2)启动datanode
hadoop-daemon.sh start datanode
3)访问namenode提供的web端口:50070
到这里,HDFS集群就搭建完成了,但是每次都要挨个启动namenode和datanode,不太方便。
可以采用自动批量的启动脚本实现批量启动。