cdh需要jdk 1.7 并且需要放到 /usr/java 目录下没有自己创建 ,因为 启动程序会自动去此目录查找
-
java -version
-
chmod 775 /usr/java/jdk/
4.9 安装ntp
-
apt-get install ntp
4.10 启动ntp
-
service ntp start
4.11 设置开机启动
-
sysv-rc-conf --list ntp
4.12 安装MySQL(master节点上)
1. 检查是否已经安装MySQL
-
sudo netstat -tap | grep mysql
2. 安装MySQL
sudo apt-get install mysql-server mysql-client
sudo netstat -tap | grep mysql 测试是否成功
3. MySQL配置
-
mysql -uroot -p 登录mysql
-
进入mysql后输入ALTER USER 'root'@'localhost' IDENTIFIED BY htmysql;设置root账号
-
修改 mysql 的配置文件
-
创建用于存储hive元数据库的数据库、账号密码(密码统一为mysql)
-
设置root授权访问以上所有的数据库
授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'n1' identified by 'xxxx' with grant option; flush privileges;
-
设置mysql开机启动
apt-get install sysv-rc-conf
sysv-rc-conf mysqld on
-
重启mysql
mysqld restart
-
安装MySQL JDBC Driver
mkdir /usr/share/java/
cp mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar
-
配置/etc/profile环境变量
1. 将cm 解压到所有节点的/opt/cloudera-manager 目录下
2. 在master节点上创建CM Server 的本地数据存储目录
-
mkdir -p /var/lib/cloudera-scm-server
-
chown 755 /var/lib/cloudera-scm-server
3. 所有机器配置Agent
-
主节点上vim /opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini的host 为cm 主机名()
-
主节点上cd 到 前面安装的mysql-connector-java-5.1.45目录下
-
主节点上cp mysql-connector-java-5.1.45-bin.jar /opt/cloudera-manager/cm-5.11.1/share/cmf/lib
4. 所有节点上创建CM server系统用户账号
-
useradd –system --home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
-
在master 节点上进行mysql 上初始化
-
/opt/cloudera-manager/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
注:这个语句有问题,在设置时请查询网上相关教程再做确认。
安装parcel
-
复制文件到相应位置
-
Master 上mkdir -p /opt/cloudera/parcel-repo
-
Master上重命名并设置
-
将sha1 重名为sha
-
Master 上 mkdir -p /opt/cloudera/parcel-repo
-
chown -R cloudera-scm:cloudera-sc /opt/cloudera/parcel-repo
-
在其它所有节点上
-
mkdir -p /opt/cloudera/parcels
-
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
-
Master 上启动agent 和server ,其他机器上启动agent
-
/opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-server start
-
如果不行可以试试用下边这个,但上面那个为准:
-
service cloudera-scm-server start|stop|restart|status
-
在所有节点上启动CM agent:
-
/opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent start
-
service cloudera-scm-server-db start|stop|restart|status
service cloudera-scm-agent start|stop|restart|status
-
访问CM
-
Localhost:7180 admin admin
注:启动很慢,如果出错了用tail -f log查看日志
/opt/server/log
注:安装过程中由于系统会自动下载大量的包,因此很耗费时间,如果急于完成安装,可自行下载一部分大的包,手动解压到节点上,可在安装的log中找到所需下载包的地址,安装前请中止安装,安装完成后点击重试安装。