- 集群机器要求是同一个局域网;
- master发送密钥给slave后,slave还需:
chmod 700 ~/.ssh(修改.ssh权限)
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
sudo vi /etc/ssh/sshd_config #修改配置
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同) - 搭建SSH免密码登陆应该是同名的用户名,才能实现ssh slave1;否则只能是ssh 用户名@slave1,但是这样hadoop自己没有这么智能;
- 把master的hadoop文件夹发送给slave们,但是如果slave的机器和master的机器的JAVA_HOME路径不一样的话,需要修改slave里的yarn-env.sh,hadoop-env.sh,hadoop-config.sh里面的JAVA_HOM
- 配置过程主要参考: http://dblab.xmu.edu.cn/blog/install-hadoop/
hadoop配置集群的心得
猜你喜欢
转载自blog.csdn.net/weixin_38493025/article/details/79900409
今日推荐
周排行