1、环境准备
本文使用两台机器,规划如下:
IP地址 | hostname | 角色 |
10.37.47.105 | hadoop1 | server、agent |
10.37.47.106 | Hadoop |
agent |
安装Oracle JDK
安装数据库(这里使用MySQL)
安装python2.6/2.7
2、下载软件包
【注意】根据自己的操作系统选择,我这里是centos6,所以选择el6版本的,CM版本我选择了5.14.1,CDH选择了5.14.2。
其他版本安装过程基本一致。
CDH parcel包下载地址:
3、安装CM server和agent
(1) 将CM安装包cloudera-manager-el6-cm5.14.1_x86_64.tar.gz上传到要安装CM 的机器,即10.37.47.105(hadoop1),我选择的安装目录为/data/cloudera-manager.
tar -zxvf cloudera-manager-el6-cm5.14.1_x86_64.tar.gz -C /data/cloudera-manager
(2) 创建用户
useradd --system --home=/data/cloudera-manager/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
修改以下目录所有者:
chown -R cloudera-scm:cloudera-scm /data/cm5.14.1/cloudera/parcel-repo
chown -R cloudera-scm:cloudera-scm /data/cm5.14.1/cloudera/parcels
将cm5.14.1拷贝到hadoop2(10.37.47.106)机器上,同样也选择/data/作为安装目录。
(3)配置cloudera manager agent
修改配置文件:
/data/cloudera-manager/cm-5.14.1/etc/cloudera-scm-agent/config.ini
修改以下配置:
属性 | 描述 |
server_host | 运行Cloudera Manager Server的机器名字 |
server_port | Cloudera Manager Server与agent通信的端口 |
配置文件中还有一些默认的文件目录,如状态信息默认存储在/var,这些都可以在config.ini配置文件中修改。
修改配置文件:
./share/cmf/webapp/WEB-INF/spring/mvc-config.xml
<bean class="com.cloudera.server.web.cmf.csrf.CsrfRefererInterceptor" /> 注释掉
(4)创建数据库
需要手动创建cms:
/data/cm5.14.1/share/cmf/schema/scm_prepare_database.sh mysql -hhadoop1 -P9306 --scm-host hadoop1 cms cms cms
不需要手工创建cms库:
/data/cm5.14.1/share/cmf/schema/scm_prepare_database.sh mysql -hhadoop1 -uroot -p123456 -P9306 cms cms cms
参数说明:
参数 | 说明 |
mysql | 数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle |
-hhadoop1 | 数据库建立在hadoop1主机上面,也就是主节点上面. |
-uroot | 以root用户运行mysql |
-p123456 | mysql用户 |
--scm-host | CMS的主机,一般是和mysql安装的主机是在同一个主机上 |
最后三个参数 | 分别为数据库名称、数据库用户名、数据库密码 |
创建我们安装用到的数据库:
数据库名称 | 说明 |
cms | Cloudera Manager Server:包括CM所有的配置信息、角色、配置历史、命令、用户等,这是系统最重要的库,相对较小(<100M)。 |
oozie | Oozie server:包括oozie的工作流、coordinator、bundle data,会非常大。 |
hive | Hiver Server:存储hive的元数据,相对较小。 |
hue | Hue Server:存储用户信息、job提交信息和hive查询,相对较小。 |
4、启动Server和agent
将server和agent加入系统服务:
[root@hadoop1 ~]# vim /etc/init.d/cloudera-scm-server
CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/data/cloudera-manager/cm5.14.1/etc/default
同时为了保证在每次服务器重启的时候都能启动cloudera-scm-server,应该在开机启动脚本/etc/rc.local中加入命令:
service cloudera-scm-server restart
同理添加agent:
[root@hadoopX ~]# cp /opt/cloudera-manager/cm-5.14.1/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
[root@hadoopX ~]# chkconfig cloudera-scm-agent on
为了保证在每次服务器重启的时候都能启动cloudera-scm-agent,应该在开机启动脚本/etc/rc.local中加入命令:
service cloudera-scm-agent restart
5、在浏览器安装cdh
进入10.37.47.105:7180,默认用户名和密码为:admin/admin
以下在浏览器进行操作。
选择express版本:
继续continue,看到我们两台agent主机,全部选中:
参考官方文档:https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html