Spark:Caused by: java.lang.ClassNotFoundException: scala.Product$class解决

今天使用Spark进行RDD操作,当我开始运行程序时,出现Caused by: java.lang.ClassNotFoundException: scala.Product$class,

我最后检查了下,发现我项目里面的spark-core版本和整个项目的scala版本不一致所导致的。

我用Maven构建的项目,pom.xml文件部分结构如下:

由于我之前出错的原因是:spark-core依赖我写的 spark-core_2.11 最后导致运行出错,这里的artifactId中的spark-core_2.12要和scala 2.12.0版本一致。
 

注意:需要检查所有的版本都必须一致

猜你喜欢

转载自blog.csdn.net/godlovedaniel/article/details/114240367
今日推荐