如何验证集群namenode ID和datanode ID 一致
首先
我们将文件存在/usr/local/hadoop_tmp/hdfs目录下
新建datanode和name node 文件夹,并使用hadoop namenode -format或hdfsnamenode -format(这个命令执行文件在/usr/local/hadoop/sbin)目录下。第一次使用会在NameNode目录和datanode目录下产生一个Version文件 该文件包含cluster ID
$ cat VERSION
这里要确保的是集群中每个datanode中的VERSION与这个相同
需要注意的是:多次使用hadoop namenode -format 命令时,只是格式化了NameNode中的VERSION ,datanode中的Version 还是第一次产生的。最好是将hadoop_tmp文件夹删了,然后新建文件夹,重新使用hadoop namenode -format。同时也可以直接将nameNode中的Version 复制到 datanode目录下。
最后
使用下列命令将hadoop_tmp文件夹更新到从机
sudo rsync -avxP /usr/local/hadoop_tmp hadoop@slave01:/usr/local/hadoop_tmp
*这里我们将数据存放在hadoop_tmp文件夹中