集群节点
namenode 主节点
datanode 从节点
resourcemanager yarn的主节点
nodemanager yarn的从节点
集群搭建
使用三台机器
shizhan01 NameNode ResourceManager
shizhan02 DataNode NodeManager
shizhan02 DataNode NodeManager
1、上传hadoop的压缩包到shizhan01,解压
tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C apps/
2、进入 cd ~/apps/hadoop-2.6.4/etc/hadoop/ 修改配置
3、找到JAVA_HOME(echo $JAVA_HOME) 修改 vi hadoop-env.sh 配置JAVA_HOME
export JAVA_HOME=/root/apps/jdk1.7.0_45
4、修改vi core-site.xml 配置,新增
<property>
<name>fs.defaultFS</name>
<value>hdfs://shizhan01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/root/hadoopdata</value>
</property>
5、修改vi hdfs-site.xml 配置,新增
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
6、修改vi mapred-site.xml 配置,新增
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
7、修改vi yarn-site.xml 配置,新增
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>shizhan01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
8、分发到shizhan02和shizhan03上
scp -r ~/apps/hadoop-2.6.4 root@shizhan02:/root/apps/
scp -r ~/apps/hadoop-2.6.4 root@shizhan03:/root/apps/
9、配置hadoop的环境变量,vi /etc/profile
export HADOOP_HOME=/root/apps/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
将配置复制到另外两台机器
scp /etc/profile shizhan02:/etc/
scp /etc/profile shizhan03:/etc/
三台机器分别 : source /etc/profile
10、格式化namenode
hadoop namenode -format
11、进入/root/apps/hadoop-2.6.4/etc/hadoop 修改vi slaves,加入集群从节点
shizhan02
shizhan03
12、单节点启动
在shizhan01上:
hadoop-daemon.sh start namenode
在shizhan02和shizhan03上:
hadoop-daemon.sh start datanode
在shizhan01上:
yarn-daemon.sh start resourcemanager
在shizhan02和shizhan03上:
yarn-daemon.sh start nodemanager
停用(stop)
hadoop-daemon.sh stop namenode
13、脚本启动集群
start-dfs.sh
start-yarn.sh
或者
start-all.sh
停用(stop)
stop-all.sh
访问:http://shizhan01:50070/ 查看集群节点状况