版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ZZh1301051836/article/details/88833155
1 集群搭建完成时
Hadoop 集群搭建完成,第一次格式化Namenode结点后:
正常情况会出现:
Namenode running as process …
Datanode running as process …
Datanode running as process …
- 若使用jps命令,没有出现Namenode
core-site.xml中,fs.defaultFS的值为hdfs://nna:9000。
检查Namenode、所有DataNode,将其9000端口打开。
打开9000端口的方法:
cd /
/sbin/iptables -I INPUT -p tcp --dport 9000 -j ACCEPT
/etc/init.d/iptables save
service iptables restart
- datanode正常启动,可jps 没有datanode
先不必检查错因,可以再通过浏览器检查一遍。
在浏览器地址栏中输入http://nna:50070 ,其中nna为主机名。查看Live Nodes,笔者使用 jps未找到DataNode,但在浏览器中找到了。
2 wordCount失败时
运行至Running Job。。。一直卡在这里。
参考文献:hadoop2.7.x运行wordcount程序卡住在INFO mapreduce.Job: Running job:job _1469603958907_0002
笔者亲测,只修改了yarn-site.xml
参考文献:hadoop启动后通过jps查看进程datanode或namenode不存在问题解决
2 Wrong FS: hdfs://localhost:9000/output, expected: file:///
在定义一个FileSystem变量的时候伪分布式和单机版的方法是不一样的,单机版使用的是FileSystem类的静态函数:
Configuration conf = new Configuration();
FileSystem hdfs = FileSystem.get(conf)
伪分布式下需要使用Path来获得:
Configuration conf = new Configuration();
Path path = new Path("hdfs://nna:9000/input/hello.txt");//分布式文件系统 文件 的路径对象
FileSystem fs = path.getFileSystem(conf);//分布式文件对象
参考网址:
Hadoop Problem : Wrong FS: hdfs://localhost:9000/output, expected: file:///