mapreduce运行的bug收录

在8088端口可以看到日志文件（主要看error），操作如下：

1.window jdk版本最好和linux jdk 版本一致，不然容易出现bug

2.当出现class not found 时，需要将src的文件export成jar包，在主函数加入代码如下：

3.如果出现返回值为1的bug，可能是mapred-default.xml，yarn-default.xml 没加如下参数（在最后添加即可）：

<property>
    <name>mapreduce.application.classpath</name>
    <value>
        $HADOOP_CONF_DIR,
        $HADOOP_COMMON_HOME/share/hadoop/common/*,
        $HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
        $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,
        $HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
        $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,
                
        $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*,
        $HADOOP_YARN_HOME/share/hadoop/yarn/*,
        $HADOOP_YARN_HOME/share/hadoop/yarn/lib/*
    </value>
</property>

（这两个文件分别在hadoop-mapreduce-client-core-2.8.5.jar，hadoop-yarn-api-2.8.5.jar 中）

注：得先将这两个jar包remove bulid Path ,然后才能修改 .xml文件

mapreduce运行的bug收录

猜你喜欢