版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
环境资源
操作系统版本
]$ cat /etc/centos-release
CentOS Linux release 7.5.1804 (Core)
安装MapReduce和Yarn
IP规划
角色 | 主机名 | IP地址 |
---|---|---|
NameNode(nn),SecondaryNameNode,ResouceManager(RM) | nn | 192.168.1.60 |
DataNode(DN)1,NodeManager(NM)1 | node1 | 192.168.1.61 |
DataNode(DN)2,NodeManager(NM)2 | node2 | 192.168.1.62 |
DataNode(DN)3,NodeManager(NM)3 | node3 | 192.168.1.63 |
如果对相关设置不明白请参考
https://mp.csdn.net/postedit/102629533
https://mp.csdn.net/postedit/102634658
MapRedce部署(nn主机上操作)
修改分布式计算框架的配置文件mapred-site.xml
- 指定资源管理类
[root@nn01 ~]# cd /usr/local/hadoop
[root@nn01 ~]# mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
#默认是模板文件,需要修改名称
[root@nn01 ~]# vim etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name> #资源管理类参数
<value>yarn</value> #设置为yarn集群模式,local则为单机模式
</property>
</configuration>
Yarn部署(nn主机上操作)
修改资源管理类配置文件yarn-site.xml
- 指定RM主机地址
- 指定计算框架
[root@nn01 ~]# cd /usr/local/hadoop
[root@nn01 ~]# vim etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name> #指定RM主机地址参数
<value>nn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name> #指定计算框架的参数
<value>mapreduce_shuffle</value>
#计算框架名,生产环境中具体的计算框架名需要询问开发人员,看开发使用的是什么计算框架
</property>
</configuration>
参数名称可以从:
http://hadoop.apache.org/docs/r2.7.7/hadoop-yarn/hadoop-yarn-common/yarn-default.xml中寻找
同步文件给节点主机
[root@nn01 ~]# for i in nn node{1..3};do rsync -aXSH /usr/local/hadoop/etc/hadoop $i:/usr/local/etc/ &
> done
启动yarn服务
[root@nn01 ~]# cd /usr/local/hadoop
[root@nn01 ~]# ./sbin/start-yarn.sh
验证服务
[root@nn01 ~]# cd /usr/local/hadoop
[root@nn01 ~]# jps #查看角色信息
4112 Jps
32258 SecondaryNameNode
32412 ResourceManager
32062 NameNode
[root@nn01 hadoop]# ./bin/yarn node -list #查看NM节点
19/10/19 11:41:15 INFO client.RMProxy: Connecting to ResourceManager at nn01/192.168.1.60:8032
Total Nodes:3
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
node2:35806 RUNNING node2:8042 0
node1:37231 RUNNING node1:8042 0
node3:46031 RUNNING node3:8042 0
如果未出现,查看配置文件mapred-site.xml和yarn-site.xml是否配置正确
web访问Hadoop
- NameNode节点web网页: http://192.168.1.60:50070
- SecondaryNameNode节点web页面: http://192.168.1.60:50090
- DataNode节点web页面: http://192.168.1.61:50075
http://192.168.1.62:50075
http://192.168.1.63:50075