版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wuxintdrh/article/details/88072103
2.1、yarn-cluster
- 2.1.1、yarn-cluster模式打包,提交问题
- 2.1.2、spark在yarn-cluster模式下运行任务报错
- 2.1.3、如何设置driver,executor的内存
- 2.1.4、解决sparn yarn-cluster第三方依赖包的加载
- 2.1.5、yarn资源调度设置
- 2.1.5、 为Spark Application指定不同的JDK版本
- 随着企业内部业务系统越来越多,基于JVM的服务,通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现:java.lang.UnsupportedClassVersionError的异常。
spark.yarn.appMasterEnv.JAVA_HOME
相当于为Spark Application的Driver设置了特定的JDK版本 (yarn模式下设置)spark.executorEnv.[EnvironmentVariableName]
配置,可以用来给Executor进程添加环境变量
park-submit --master yarn-cluster --class com.chb.test.tongji.WordCount
--conf "spark.executorEnv.JAVA_HOME=/uardata/software/java/jdk8/jdk1.8.0_121"
--conf "spark.yarn.appMasterEnv.JAVA_HOME=/uardata/software/java/jdk8/jdk1.8.0_121"
frame.jar /apps/test/input/abc