haoop2.x ha搭建

1.搭建：https://www.jianshu.com/p/7904fcc727d7

2.注意：

1). ha模式，在一个选为active的namenode节点上执行格式化命令hdfs namenode -format后，

先用命令hadoop-daemon.sh start namenode单独启动该namenode。然后在其他namenode节

点上执行命令hdfs namenode -bootstrapStandby来同步fsimage。如果不进行同步会造成standby的namenode

启动失败，会报没有格式化异常。

2）多次格式化的情况，重点要在格式化前清理所有namenode和datanode的相关目录：

参考：https://blog.csdn.net/gis_101/article/details/52821946

rm -rf /data/app/hadoop-2.7.7/nameNode/* 元数据目录
rm -rf /data/app/hadoop-2.7.7/dataNode/* 数据目录
rm -rf /data/hadoop/tmp/* hadoop临时存储目录
rm -rf /data/app/hadoop-2.7.7/logs/* 运行日志目录

hdfs zkfc -formatZK（在其中一台NameNode上）清理zk

4.hadoop需要手动单独启动的服务：

jobhistory服务：mr-jobhistory-daemon.sh start historyserver

如果yarn-site.xml中配置了yarn.web-proxy.address，需要手动启动WebAppProxyServer服务：yarn-daemon.sh start proxyserver

3.启动停止命令

sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode

sbin/stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode

sbin/hadoop-daemons.sh start namenode 单独启动NameNode守护进程

sbin/hadoop-daemons.sh stop namenode 单独停止NameNode守护进程

sbin/hadoop-daemons.sh start datanode 单独启动DataNode守护进程

sbin/hadoop-daemons.sh stop datanode 单独停止DataNode守护进程

sbin/hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程

sbin/hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程

sbin/start-yarn.sh 启动ResourceManager、NodeManager

sbin/stop-yarn.sh 停止ResourceManager、NodeManager

sbin/yarn-daemon.sh start resourcemanager 单独启动ResourceManager

sbin/yarn-daemons.sh start nodemanager 单独启动NodeManager

sbin/yarn-daemon.sh stop resourcemanager 单独停止ResourceManager

sbin/yarn-daemons.sh stopnodemanager 单独停止NodeManager

sbin/mr-jobhistory-daemon.sh start historyserver 手动启动jobhistory

sbin/mr-jobhistory-daemon.sh stop historyserver 手动停止jobhistory

猜你喜欢