Lesson4 Hadoop 伪分布模式Yarn的配置及Mapreduce demo程序 WordCount的运行

 一、 Yarn的配置:

1.  配置yarn-env.sh:加入JAVA_HOME。 

2.  配置yarn-site.xml:添加如下内容,将node1改为主机名

<!--Reducer获取数据的方式-->
<property> 
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value> 
</property>

<!--指定Yarn的ResourceManager的地址-->
<property> 
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value> 
</property>


3.   配置mapred-env.xml:

 复制文件

cp mapred-site.xml.template mapred-site.xml

在mapred-env.xml中添加以下内容:

<!--指定MR运行在Yarn上-->
<property> 
	<name>mapreduce.framework.name</name>
	<value>yarn</value> 
</property>

 二、  启动集群:

1.  启动前必须保证NameNode和DataNode已经启动。

2.  启动ResourceManager:

sbin/yarn-daemon.sh start resourcemanager

3.  启动NodeManager: 

sbin/yarn-daemon.sh start nodemanager

4.  检查:输入 jps 应可以看到程序已启动

 

扫描二维码关注公众号,回复: 9936157 查看本文章

 输入netstat -lnpt 应看到 8088 号端口已经启动

 输入主机名 + 端口号8088 可以看到如下页面

 三、 运行WordCount程序:

1.  删除之前的输出: 

hdfs dfs -rm -r /user/root/output

2.  运行程序:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output

 可以看到程序处理进程:

 

发布了45 篇原创文章 · 获赞 30 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/sinat_40471574/article/details/104863731