一、 Yarn的配置:
1. 配置yarn-env.sh:加入JAVA_HOME。
2. 配置yarn-site.xml:添加如下内容,将node1改为主机名
<!--Reducer获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定Yarn的ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
3. 配置mapred-env.xml:
复制文件
cp mapred-site.xml.template mapred-site.xml
在mapred-env.xml中添加以下内容:
<!--指定MR运行在Yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
二、 启动集群:
1. 启动前必须保证NameNode和DataNode已经启动。
2. 启动ResourceManager:
sbin/yarn-daemon.sh start resourcemanager
3. 启动NodeManager:
sbin/yarn-daemon.sh start nodemanager
4. 检查:输入 jps 应可以看到程序已启动
扫描二维码关注公众号,回复:
9936157 查看本文章
输入netstat -lnpt 应看到 8088 号端口已经启动
输入主机名 + 端口号8088 可以看到如下页面
三、 运行WordCount程序:
1. 删除之前的输出:
hdfs dfs -rm -r /user/root/output
2. 运行程序:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output
可以看到程序处理进程: