官方安装说明地址:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
Step1
安装spark需要两个文件,一个是csd文件,一个是parcel文件。
我安装的是2.1 Release2版本,后面两列分别是这个两个文件的地址。
进入parcel的链接地址,如下图:
我的系统是centos6,所以下载el6对应的两个文件,如果是centos7,就下载el7对应的文件即可。
把划红线的三个文件都下载下来。
Step2
选择需要安装的spark版本之前,需要安装spark需要的一些软件和软件版本的要求。具体地址:
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html
Step3
登录到Cloudera Manager的主机,把下载的文件分别放到对应的文件夹。
csd文件放到csd文件夹,其他的文件放到parcel-repo文件夹。
默认是/opt/cloudera/csd和/opt/cloudera/parcel-repo
Step4
修改文件的权限,分别把owner和group修改成cloudera-scm,读写权限改成644
Step5
service cloudera-scm-server restart
用上面的命令重启。
Step6
登录到Cloudera Manager的管理平台,进入parcel界面,这时候就可以看到你要安装的spark了。
开始分配主机,直到激活。
Step7
添加Spark服务到集群。