CM搭建

 

cdh需要jdk 1.7 并且需要放到 /usr/java 目录下没有自己创建 ,因为 启动程序会自动去此目录查找

  • java -version

  • chmod 775 /usr/java/jdk/

4.9 安装ntp

  • apt-get install ntp

4.10 启动ntp

  • service ntp start

4.11 设置开机启动

  • sysv-rc-conf --list ntp

4.12 安装MySQL(master节点上)

1. 检查是否已经安装MySQL

  • sudo netstat -tap | grep mysql

2. 安装MySQL

sudo apt-get install mysql-server mysql-client

sudo netstat -tap | grep mysql 测试是否成功

3. MySQL配置

  • mysql -uroot -p  登录mysql

  • 进入mysql后输入ALTER USER 'root'@'localhost' IDENTIFIED BY htmysql;设置root账号

  • 修改 mysql 的配置文件

  • 创建用于存储hive元数据库的数据库、账号密码(密码统一为mysql)

  • 设置root授权访问以上所有的数据库

授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'n1' identified by 'xxxx' with grant option; flush privileges;

 

  • 设置mysql开机启动

apt-get install sysv-rc-conf

sysv-rc-conf mysqld on

 

  • 重启mysql

mysqld restart

 

  • 安装MySQL JDBC Driver

mkdir /usr/share/java/

cp mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar

  • 配置/etc/profile环境变量

 

1. 将cm 解压到所有节点的/opt/cloudera-manager 目录下

2. 在master节点上创建CM Server 的本地数据存储目录

  • mkdir -p /var/lib/cloudera-scm-server

  • chown 755 /var/lib/cloudera-scm-server

3. 所有机器配置Agent

  • 主节点上vim  /opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini的host 为cm 主机名()

  • 主节点上cd 到 前面安装的mysql-connector-java-5.1.45目录下

  • 主节点上cp mysql-connector-java-5.1.45-bin.jar /opt/cloudera-manager/cm-5.11.1/share/cmf/lib

4. 所有节点上创建CM server系统用户账号

  • useradd –system --home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

  1. 在master 节点上进行mysql 上初始化

  • /opt/cloudera-manager/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

注:这个语句有问题,在设置时请查询网上相关教程再做确认。

安装parcel

  1. 复制文件到相应位置

  • Master 上mkdir -p /opt/cloudera/parcel-repo

  1. Master上重命名并设置

  • 将sha1 重名为sha

  • Master 上 mkdir -p /opt/cloudera/parcel-repo

  • chown -R cloudera-scm:cloudera-sc /opt/cloudera/parcel-repo

 

  1. 在其它所有节点上

  • mkdir -p /opt/cloudera/parcels

  • chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
     

  1. Master 上启动agent 和server ,其他机器上启动agent

  • /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-server start

  • 如果不行可以试试用下边这个,但上面那个为准:

  • service cloudera-scm-server start|stop|restart|status

 

  1. 在所有节点上启动CM agent:

  • /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent start

  • service cloudera-scm-server-db start|stop|restart|status
    service cloudera-scm-agent start|stop|restart|status

 

 

  1. 访问CM

  • Localhost:7180 admin admin

注:启动很慢,如果出错了用tail -f log查看日志

/opt/server/log

注:安装过程中由于系统会自动下载大量的包,因此很耗费时间,如果急于完成安装,可自行下载一部分大的包,手动解压到节点上,可在安装的log中找到所需下载包的地址,安装前请中止安装,安装完成后点击重试安装。

猜你喜欢

转载自blog.csdn.net/qq_38250124/article/details/84947597
今日推荐