java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster
问题描述:
spark 提交jar包到集群运行报异常
java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster
原因分析:
spark找不到hadoop集群的相关信息
解决方案:
spark-env.sh 配置文件中加入hadoop配置文件路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
重启spark