为了既能远程连接spark 查看ui 又能本地练习 安装简单
去官网 http://spark.apache.org/downloads.html 选择对应版本下载 tar包
解压 tar -zxvf spark-2.2.0-bin-hadoop2.6.tgz
sbin/start-master.sh 启动master
sbin/start-slave.sh 启动slave
正常启动了 在Web-Ui中查看 http://ip地址:8080/
但是这样的话 本地程序
val conf = new SparkConf().setAppName("WordCount").setMaster("spark://IP地址:7077")
会报错
: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
下载hadoop 加上这句
System.setProperty("hadoop.home.dir",
"F:\\hadoop2.6(x64)V0.2");
依然报连接超时 检查防火墙都没有问题 7077端口也启动了
修改配置文件
vi conf/spark-env.sh
加上这几句
export SPARK_MASTER_HOST=master01
export SPARK_MASTER_PORT=7077
export JAVA_HOME=/opt/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
jdk要配 不然会报错
host写master01 然后在系统hosts文件里 配置内网地址 master01
重启spark
连接后正常