使用sparksubmit提交application时始终找不到三方jar 提升class not found

spark2.1.0 hadoop 2.6.0(ambari)

spark中使用了三方jar并且运行模式为yarn时,执行如下命令:

./spark-submit --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 3g --executor-cores 1 --class com.test.Test /tmp/test.jar --jars /tmp/
mysql-connector-5.12.jar 

程序运行时始终提示class not found ,并且在各种日志中都找不到出现mysql-connector-5.12.jar 这个jar的引入。

 普通的解决方案,网上一搜一堆例如 executor-driver-classpath等方法,试过均无效,最后发现了原因!!命令提交的时候  程序jar一定要放在最后面 即:

./spark-submit --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 3g --executor-cores 1 --class com.test.Test 
--jars /tmp/mysql-connector-5.12.jar /tmp/test.jar

猜你喜欢

转载自blog.csdn.net/u013314600/article/details/80813589