spark 提交jar包到集群运行报异常java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster

java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster

问题描述:

spark 提交jar包到集群运行报异常

java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster

原因分析:

spark找不到hadoop集群的相关信息


解决方案:

spark-env.sh 配置文件中加入hadoop配置文件路径

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  

重启spark

猜你喜欢

转载自blog.csdn.net/weixin_43614067/article/details/108832784