1. Slave节点NodeManager启动,但是datanode未启动
首先检查datanode启动节点上hadoop-2.7.2/hdfs/data/current/VERSION中的clusterid是否和namenode同目录下clusterid一致
然后在看storageid是否存在
2. 用Hibench提交作业出现的问题
du: `hdfs://centos35:9000/HiBench/Sort/Input': No such file or directory
本人批量流式sparkstreaming转过来的,所以忽略了一点,批量流式的数据是源源不断到来的,而批处理作业的数据是需要指定数据所在的文件夹,且保证作业提交时文件夹中有数据。
数据发生器启动./prepare后会向系统提交一个产生随机数的作业,这个作业的输出数据即使我们sort文件的输入数据,因此,需要等到随机数作业执行完再提交sort作业。
3. 学会查看log文件,找到问题
由于log文件会很多,这时候可以使用ls --full-time看看每个文件的时间,来确定哪一个才是我们要查看的文件。