结尾还提示:Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
解决方法:
首先保证/usr/local/src/hadoop-2.6.1/etc/hadoop/hdfs-site.xml下<name>dfs.replication</name>是正确的。(这步好像不会影响,只要下面2步做完就行)
-
mapred-site.xml中设置map和reduce任务的内存配置如下,将以下代码追加到mapred-site.xml中:(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)
<property> <name>mapreduce.map.memory.mb</name> <value>1536</value> </property> <property> <name>mapreduce.map.java.opts</name> <value>-Xmx1024M</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>3072</value> </property> <property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx2560M</value> </property>
-
将master虚拟机内存设置为3072MB,然后hadoop集群不需要重启就可以跑成功了。