#---------------------------------------------------------------------------------------------------------------------------------------
这个实验注意哈如果是连接local模式的spark集群那随便搞。
如果是连接真实集群,那么每个node中的spark版本必须和pom.xml中的spark相关版本一致。
#---------------------------------------------------------------------------------------------------------------------------------------
①intellij新建一个maven工程
②pom.xml
③新建类TestSparkJava(右键点击java->New->Java Class)
④
intellij中点击mvn package生成jar包
注意哈,如果是local模式,不需要执行第④步,但是如果是连接真实spark集群,这步不可以省去,否则会报错!
⑤修改TestSparkJava中setJars后面的路径,该路径是④中生成的jar包所在的路径
右键点击TestSparkJava选择Run TestSparkJava.main( )
---------------------------------------------------------------------------附录---------------------------------------------------------------------------
完整工程如下:
https://gitee.com/appleyuchi/spark_success/tree/master/testSpark-Intellij连接真实spark用法
pom.xml(spark版本必须和pom.xml中的spark相关版本一致,否则会有莫名其妙的错误)
Reference: