sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
scp远程传输文件
scp -r hadoop-2.7.2.tar.gz mm@hadoop102:/opt/software
mkdir -p data/tmp
第一次启动没有问题,第二次启动时,会有文件残留
bin /hdfs namenode -format,产生一个新的namenode文件(id),就不认识之前的datanode了
解决办法:在格式化之前,删除datanode里面的信息(默认在/tmp,如果配置改目录,那就要去你配置的目录下删除(hadoop-2.7.2/data/tmp))
一.YARN上运行MapReduce程序
1)分析:
(1)准备1台客户机
(2)安装jdk
(3)配置环境变量
(4)安装hadoop
(5)配置环境变量
(6)配置集群yarn上运行
(7)启动、测试集群增、删、查
(8)在yarn上执行wordcount案例
2)执行步骤
(1)配置集群
(a)配置yarn-env.sh
配置一下JAVA_HOME:export JAVA_HOME=/opt/module/jdk1.7.0_79
(b)配置yarn-site.xml
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
(c)配置:mapred-env.sh
配置一下JAVA_HOME:export JAVA_HOME=/opt/module/jdk1.7.0_79
(d)配置: (对mapred-site.xml.template重新命名为) mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(2)启动集群
sbib/yarn-daemon.sh start resourcemanager
sbib/yarn-daemon.sh start nodemanager
(3)集群操作
(a)yarn的浏览器页面查看:http://192.168.1.101:8088/cluster
(b)删除文件系统上的output文件:bin/hdfs dfs -rm -R /user/mm/mapreduce/wordcount/output
(c)执行mapreduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/mm/mapreduce/wordcount/input /user/mm/mapreduce/wordcount/output
(d)查看运行结果:bin/hdfs dfs -cat /user/mm/mapreduce/wordcount/output/*
二.修改本地临时文件存储目录
1)停止进程
2)修改hadoop.tmp.dir
[core-site.xml]
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
3)格式化NameNode
4)启动所有进程
注意:先删除原先的id
hadoop-mm
hadoop-mm-namenode.pid