spark2.1.0 hadoop 2.6.0(ambari)
spark中使用了三方jar并且运行模式为yarn时,执行如下命令:
./spark-submit --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 3g --executor-cores 1 --class com.test.Test /tmp/test.jar --jars /tmp/
mysql-connector-5.12.jar
程序运行时始终提示class not found ,并且在各种日志中都找不到出现mysql-connector-5.12.jar 这个jar的引入。
普通的解决方案,网上一搜一堆例如 executor-driver-classpath等方法,试过均无效,最后发现了原因!!命令提交的时候 程序jar一定要放在最后面 即:
./spark-submit --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 3g --executor-cores 1 --class com.test.Test
--jars /tmp/mysql-connector-5.12.jar /tmp/test.jar