版权声明:版权声明中 https://blog.csdn.net/lds_include/article/details/89329139
Spark2.3.0解决Exception in thread “main” java.lang.IllegalArgumentException: Illegal pattern component: XXX 报错
出错的调用代码
- 此问题出现在调用spark.read.json或者csv的时候出现。
res.write
.mode("append")
.json("c://out")
说明
- maven升级的时候,没有自动加载完整依赖包,jsonAPI对于timeStampFormat有特殊需求,默认为下面这个格式这种格式,是无法被scala-lang包识别的。我们看报错的源码可以看出。
修改的方法
- 修改option选项修改默认的timeStampFormat,代码如下
res.write
.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ")
.mode("append")
.json("C://out")