版权声明:该版权归博主个人所有,在非商用的前提下可自由使用,转载请注明出处. https://blog.csdn.net/qq_24696571/article/details/85872411
- 规划
- 关闭所有防火墙
service iptables stop
- 配置mapred-site.xml文件
- 进入自己的hadoop安装包解压文件夹中的etc/hadoop文件夹:
cd /home/hadoop-2.6.5/etc/hadoop
- 将mapred-site.xml.template模板文件更名为mapred-site.xml:
mv mapred-site.xml.template mapred-site.xml
- 配置文件
vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name> #意思是框架的名称
<value>yarn</value> #mapreduce运行在yran之上
</property>
</configuration>
- 配置yarn-site.xml
- 进入自己的hadoop安装包解压文件夹中的etc/hadoop文件夹:
cd /home/hadoop-2.6.5/etc/hadoop
- 打开文件(和mapred-site.xml同一目录)
vim yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name><!--工作的节点-->
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name><!--ha高可用是否开启-->
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name><!--开启之后设置yarn集群的名字-->
<value>mr_Credi</value><!--随便设置-->
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name><!--高可用ResourceManager的节点-->
<value>rm1,rm2</value><!--规划作为ResourceManager(RM)的服务器,取的配置别名,下面的配置要与这里相同-->
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name><!--取的配置别名,与上同-->
<value>node02</value><!--将别名指向自己规划作为RM的服务器的ip地址别名node02-->
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name><!--取的配置别名,与上同-->
<value>node03</value><!--将别名指向自己规划作为RM的服务器的ip地址别名node03-->
</property>
<property>
<name>yarn.resourcemanager.zk-address</name><!--RM通过zookeeper(ZK)实现,-->
<value>node01:2181,node02:2181,node03:2181</value><!--填写规划作为ZK的服务器ip地址别名-->
</property>
- 将/home/hadoop-2.6.5/etc/hadoop/下的mapred-site.xml文件和yarn-site.xml文件发送给其他规划为hadoop集群中的服务器的同等路径下
scp -r mapred-site.xml node02:/home/hadoop-2.6.5/etc/hadoop/
scp -r mapred-site.xml node03:/home/hadoop-2.6.5/etc/hadoop/
scp -r yarn-site.xml node02:/home/hadoop-2.6.5/etc/hadoop/
scp -r yarn-site.xml node03:/home/hadoop-2.6.5/etc/hadoop/
- 启动集群
- 关闭所有防火墙
service iptables stop
- 启动所有的zookeeper服务器(ZK)
zkServer.sh start
,
jps命令可以查看进程:QuorumPeerMain
zkServer.sh status
查看状态- 全面启动
start-all.sh
- 规划作为RM服务器的节点启动ResourceManeger:
yarn-daemon.sh start resourcemanager
- 关闭集群
- 关闭所有的zookeeper服务器(ZK)
zkServer.sh stop
,- 全面关闭
stop-all.sh
- 规划作为RM服务器的节点关闭ResourceManeger:
yarn-daemon.sh stop resourcemanager