spark1.6支持 hdfs2.6.4 HA

打包时:记得把core-site.xml和hdfs-site.xml文件打进去

测试命令:

bin/spark-submit

--class spark_api.hive.spark1_6Hive  \

--master spark://mode1:7077  \

--executor-memory 512M \

--total-executor-cores 2  \

 /root/sparkall_api.jar    \

hdfs://bi/user/hive/warehouse/mh_shipline   spark://node1:7077

注意:

bi:为nameservice 

经过测试可以完美运行。

不会idea打包的同学请看:https://www.cnblogs.com/blog5277/p/5920560.html

猜你喜欢

转载自blog.csdn.net/qq_29499107/article/details/89180927