org.apache.hadoop.ipc.RemoteException(java.io.IOException)异常

版权声明:本文为博主原创文章,转载请留下脚印,技术交流评论。 https://blog.csdn.net/ZLZ2017/article/details/84308806

       最近在调试flink程序时,发现程序起不来,查看错误日志和hadoop相关,我的程序与hadoop相关的只有设置了checkpoint的路径是hdfs的一个目录路径。

错误日志最后的错误大致是:

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /

后查看机器进程情况发现:集群中datanode没有启动,但是nodemanager启动起来了,且web可以正常访问。

这个问题即Hadoop启动时,datanode没有启动,才有上述错误日志输出。

其具体原因是:

当我们使用hadoop namenode -format格式化namenode时,会在namenode数据文件夹(这个文件夹为自己配置文件中dfs.name.dir的路径)中保存一个current/VERSION文件,记录clusterID,datanode中保存的current/VERSION文件中的clustreID的值是上一次格式化保存的clusterID,这样,datanode和namenode之间的ID不一致,datanode启动失败。

回想自己的操作在上次操作的基础上是:

      hadoop namenode -format

      sbin/start-dfs.sh

导致VERSION文件中ID不一致的。

解决方法

 如果dfs文件夹中没有重要的数据,那么删除dfs文件夹,再重新运行下列指令: (删除所有节点下的dfs文件夹,dfs目录在${HADOOP_HOME}/tmp/)

        hadoop namenode -format

        sbin/start-dfs.sh

总结:

  初首次启动hadoop集群前,每次启动hadoop时,不要运行hadoop namenode -format命令,直接运行命令sbin/start-dfs.sh启动。

 

猜你喜欢

转载自blog.csdn.net/ZLZ2017/article/details/84308806