开发工具:IDEA
开发环境:win10本地环境,spark
运行spark程序时,控制台总会输出很多红色日志,默认日志输出级别为INFO,可通过以下两种方法进行日志级别的修改
方法一:在代码块中进行日志级别的设置
val sc = SparkSession.builder()
.config("spark.testing.memory","2000000000")
.master("local[*]")
.appName("aiwen.com")
.getOrCreate()
.sparkContext
// 下行代码既是将日志级别由INFO调整为ERROR
sc.setLogLevel("ERROR")
如上设置之后,可减少日志的输出,但是,设置之前即加载上下文环境时产生的INFO日志还是会被打印出来,该方法不彻底,效果如下
21/01/16 15:24:10 INFO SparkContext: Running Spark version 2.1.1
21/01/16 15:24:10 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
21/01/16 15:24:11 INFO SecurityManager: Changing view acls to: aw
21/01/16 15:24:11 INFO SecurityManager: Changing modify acls to: aw
21/01/16 15:24:11 INFO SecurityManager: Changing view acls groups to:
21/01/16 15:24:11 INFO SecurityManager: Changing modify acls groups to:
21/01/16 15:24:11 INFO SecurityManager: SecurityManager: authentication disabled; ui acls
此处省略部分INFO日志
1
5
20
20.0
Process finished with exit code 0
方法二:直接修改配置文件并放到项目中
鼠标光标定位到代码中,双击shift,在弹出的界面中搜索 log4j-defaults.properties 然后在结果中进入到该配置文件,该文件只可读,因此全选该文件复制新建log4j.properties,放到自己项目的src目录下即可
如上述运行结果,不再输出多余日志,该方法较为彻底