下载安装文件
wget http://ftp.cuhk.edu.hk/pub/packages/apache.org/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz
解压文件
tar -xzvf spark-2.3.1-bin-hadoop2.7.tgztar -xzvf cdh5.15.0-release
mv spark-2.3.1-bin-hadoop2.7 /etc/spark
进入spark配置目录
cd /etc/spark/conf/
cp spark-env.sh.template spark-env.sh
编辑 spark-env.sh
vi spark-env.sh
在最后添加
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64
export SPARK_MASTER_HOST=192.168.101.15
export SPARK_MASTER_PORT=7077
保存
执行以下命令
cp slaves.template slaves
vi slaves
将最下面的localhost更改为ip地址
进入sbin目录,执行
./start-all.sh
启动Spark
通过 http://192.168.101.15:8080/ 访问管理站点
请记得打开防火墙