1. Spark安装包的下载
下载Spark安装包地址:http://spark.apache.org/downloads.html
注:本次学习过程中我们选用比较新的spark版本spark2.2.0
上述方式获取Spark安装包的方式是使用官方编译好的安装包来进行安装的.官方一般只提供有限的几个匹配hadoop版本的编译包.所以,如果将来你需要特意匹配你自己的hadoop版本,这个时候就需要你自己去编译spark源码。一般情况下不建议自己编译源码，使用官方提供的即可。
2. Spark集群安装和部署
2.1. 上传安装包并进行解压
#解压安装包
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /export/servers/
#对解压后的文件夹进行重命名
mv spark-2.2.0-bin-hadoop2.7/ spark-2.2.0
2.2. 修改spark-env.sh
在/export/servers/spark-2.2.0/conf配置文件目录下进行配置文件的修改
# 步骤一：将spark-env.sh.template这个文件重新命名为spark-env.sh
mv spark-env.sh.template spark-env.sh
# 步骤二：修改spark-env.sh这个配置文件,新增如下配置内容即可：
#设置JAVA_HOME目录
export JAVA_HOME=/export/servers/jdk1.8.0_144
#设置SCALA_HOME目录
export SCALA_HOME=/export/servers/scala-2.11.8
#设置SPARK主机的地址
export SPARK_MASTER_HOST=node01.ouyang.com
#设置SPARK主机的端口地址
export SPARK_MASTER_PORT=7077
#设置worker节点的内存大小
export SPARK_WORKER_MEMORY=1g
#设置HDFS文件系统的配置文件的位置
export HADOOP_CONF_DIR=/export/servers/hadoop-2.7.4/etc/hadoop
2.3. 修改slaves配置文件
# 步骤一：将slaves.template这个文件重新命名为slaves：
mv slaves.template slaves
# 步骤二：修改slaves配置文件中的内容,在里面添加worker节点的地址
# 配置从节点的地址
spark-node02.ouyang.com
spark-node03.ouyang.com
2.4. 配置Spark环境变量
打开/etc/profile，在该文件中添加如下内容：
#配置Spark环境变量
export SPARK_HOME=/opt/modules/spark-2.2.0
export PATH=$SPARK_HOME/bin:$PATH
export SPARK_HOME PATH
2.5. 将spark安装目录发送到其他服务器
使用scp命令,将spark的安装目录拷贝只远程其他节点
#拷贝spark安装目录道node02机器上
scp -r spark-2.2.0/ spark-node02.ouyang.com:$PWD
#拷贝spark安装目录到node03机器上
scp -r spark-2.2.0/ spark-node03. ouyang.com:$PWD
#拷贝/etc/profile至node02机器上
scp /etc/profile spark-node02. ouyang.com:/etc/
#拷贝/etc/profile至node03机器上
scp /etc/profile spark-node03. ouyang.com:/etc/
注:在每一台机器上使用source /etc/profile 让配置生效
2.6. Spark启动和停止
启动spark命令：在spark的跟目录下，执行如下命令
./sbin/start-all.sh
停止spark命令：
扫描二维码关注公众号，回复：
5735562 查看本文章
./sbin/stop-all.sh