ssh免密登录
1、在每个节点生成公钥和私钥,并拷贝
Hadoop100:生成公钥和私钥
[root@hadoop100] ssh-keygen -t rsa
然后敲(三个回车)
将公钥拷贝到要免密登录的目标机器上
[root@hadoop100] ssh-copy-id hadoop100
[root@hadoop100] ssh-copy-id hadoop101
[root@hadoop100] ssh-copy-id hadoop102
Hadoop101:生成公钥和私钥
[root@hadoop101] ssh-keygen -t rsa
然后敲(三个回车)
将公钥拷贝到要免密登录的目标机器上
[root@hadoop101] ssh-copy-id hadoop100
[root@hadoop101] ssh-copy-id hadoop101
[root@hadoop101] ssh-copy-id hadoop102
Hadoop102: 生成公钥和私钥
[root@hadoop102] ssh-keygen -t rsa
然后敲(三个回车)
将公钥拷贝到要免密登录的目标机器上
[root@hadoop102] ssh-copy-id hadoop100
[root@hadoop102] ssh-copy-id hadoop101
[root@hadoop102] ssh-copy-id hadoop102
2、修改hadoop配置文件
在hadoop100上的start-dfs.sh 和stop-dfs.sh 文件最上边添加几行数据
[root@hadoop100] cd /opt/module/hadoop-3.1.3/sbin
[root@hadoop100] vi start-dfs.sh
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
[root@hadoop100] vi stop-dfs.sh
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
在 start-yarn.sh 和 stop-yarn.sh文件最上方添加几行数据
[root@hadoop100] vi start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
[root@hadoop100] vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
在hadoop100上修改workers:
[root@hadoop100] cd /opt/module/hadoop-3.1.3/etc/hadoop
[root@hadoop100] vi workers
hadoop100
hadoop101
hadoop102
把上面的修改同步到hadoop101、hadoop102上:
[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/sbin/ hadoop101:/opt/module/hadoop-3.1.3/sbin/
[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/sbin/ hadoop102:/opt/module/hadoop-3.1.3/sbin/
[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/etc/hadoop/ hadoop101:/opt/module/hadoop-3.1.3/etc/hadoop/
[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/etc/hadoop/ hadoop102:/opt/module/hadoop-3.1.3/etc/hadoop/
启动集群:
如果集群上已经启动hadoop相关程序,可以先执行停止。
在hadoop100上执行以下脚本,用来启动hdfs:
[root@hadoop100] start-dfs.sh
在hadoop101上执行以下脚本,用来启动yarn:
[root@hadoop101] start-yarn.sh
停止集群:
在hadoop100上执行以下脚本,用来停止hdfs:
[root@hadoop100] stop-dfs.sh
在hadoop101上执行以下脚本,用来停止yarn:
[root@hadoop101] stop-yarn.sh