版权声明:所有文章禁止转载但是均可在生产中使用提高效率 https://blog.csdn.net/viviliving/article/details/83089845
默认输出info级别,结果都淹没在info海洋里
先看看自己的eclipse输出的第一行
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
然后再找找spark的import执行的jar包的spark-core所在位置(CTRL+T)
我的在
/home/hadoop/.m2/repository/org/apache/spark/spark-core_2.11/2.1.0
找到后,命令行下解压
jar xvf spark-core_2.11-2.1.0.jar
find ./ -name log4j*.*
./org/apache/spark/log4j-defaults.properties
修改log4j-defaults.properties中的info级别为WARN即可
然后再打包
jar cvf spark-core_2.11-2.1.0.jar ./org/* ./META-INF/*
运行看看是不是一下子很简洁了