最近在研究集群迁移相关的一些事情,涉及到给cloudera集群添加机器,在添加机器的过程中遇到了下面的问题:

    不良 : 该主机已与 Cloudera Manager Server 建立联系。 该主机未与 Host Monitor 建立联系。

首先总结下网上的说法:

    1-agent文件是从其他正在运行cloudera-scm-agent的机器上拷贝过来直接用的,因为该进程在运行时会产生一个uuid文件,拷贝的时候连同这个文件一起的话造成了uuid冲突,所以启动失败.

    uuid文件路径:/opt/cm-5.1.3/lib/cloudera-scm-agent/uuid

    2-将连不上的机器 /usr/bin/host 文件删掉,执行下面命令:

    sudo mv /usr/bin/host /usr/bin/host.bak

    第二种方法也试了,还是起不来.不过看到他的办法,想到了去检查hosts文件是否有错.

    最终是因为其中一个机器的ip对应的hostname没有完全按照对应主机写导致的.

    意思就是,当一个机器的ip是172.16.9.91,机器名是host1,我们在另一台机器的hosts文件中写172.16.9.91 host111,这样ping host111时是可以通向172.16.9.91这个ip的.

    虽然只要ip写对了,机器名可以自定义,但是在cloudera中显然不可以.我问题就出在这,更改后ok.

都是自己挖的坑呀.

需要说明的一点.在机器正常安装cloudera-scm-agent后,在激活的过程中cloudera-scm-server日志中会出现:

WARN:Parcel not distributed but have active state ACTIVATING

网上有的朋友在解决这个问题的时候大费周章,我这次安装的时候并没有什么影响.机器可正常激活(时间略久,二十分钟左右),角色可正常添加.

最后附上cloudera(5.14.0)向cdh集群添加机器的步骤(图片存不住,文字描述吧)

防火墙关掉不用说了吧.....

准备一:master到要添加的主机配置免密登陆(在host上运行ssh-copy-id root@要添加主机的ip   --需要输入一次密码)

准备二:添加的机器上运行ntp服务同master主机同步

1-进入cloudera主页(host:7180)

2-点击选项卡-主机-所有主机

3-集群中现有机器信息的右上方-向集群添加机器.

4-下一步

5-安装agent

安装成功后给机器添加角色重启集群(cloudera会在服务名比如hdfs旁边提示更新配置,点击更新),重启集群.