1配置文件中使用IP地址错误:
(logs目录下的日志文件错误)
10/11/09 17:19:06 INFO mapred.JobClient: Task Id : attempt_201011091659_0001_m_000003_0, Status : FAILED
Error initializing attempt_201011091659_0001_m_000003_0:
java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.75.17:9000/hadoop/hadoop/hadoop/tmp/mapred/system/job_201011091659_0001/job.xml, expected: hdfs://hadoop_namenode:9000
at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:310)
at org.apache.hadoop.hdfs.DistributedFileSystem.checkPath(DistributedFileSystem.java:99)
at org.apache.hadoop.hdfs.DistributedFileSystem.getPathName(DistributedFileSystem.java:155)
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:453)
at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:745)
at org.apache.hadoop.mapred.TaskTracker.startNewTask(TaskTracker.java:1664) at org.apache.hadoop.mapred.TaskTracker.access$1200(TaskTracker.java:97)
at org.apache.hadoop.mapred.TaskTracker$TaskLauncher.run(TaskTracker.java:1629)
解决方法:
将IP地址更换为域名,如:master,salver1....
修改hosts文件。
原来的格式:
<property>
<name>mapred.job.tracker</name>
<value>192.168.75.17:9001</value>
</property>
应该改成
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
2. 运行bin/start-all.sh正常,输入bin/start-fds.sh出错,显示以下提示:Hadoop common not found。
问题分析:出现该问题的原因是没有定义HADOOP_NAME
处理方法:Linux中为在.bashrc文件中加入 export HADOOP_HOME=$HOME/hadoop-0.21.0
3. 在操作HDFS的时候发现总是提示以下错误,而无法完成功能的操作:java.io.IOException: File /user/administrator/chen3/NOTICE.txt could only be replicated to 0 nodes, instead of 1
检查datanode日志,发现DateNode与NameNode的命名空间版本不匹配
2011-08-04 11:23:23,065 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-linzm/dfs/data: namenode namespaceID = 775148417; datanode namespaceID = 1771400337
问题分析:看日志应该是DataNode的命名空间版本与NameNode不一致,重启后也是不能解决。
处理方法:将/tmp/hadoop-linzm/dfs/data/current/VERSION文件中的namespaceID改为错误日志的提示版本
4. 将jar放到hadoop中,并执行时候,报以下异常
- [linzm @vm - 360 - 149 - 11 test]$ hadoop jar wordcount/wordcount.jar org.myorg.WordCount wordcount/input wordcount/outpu
- Exception in thread "main" java.io.IOException: Error opening job jar: wordcount/wordcount.jar
- at org.apache.hadoop.util.RunJar.main(RunJar.java:130 )
- Caused by: java.util.zip.ZipException: error in opening zip file
- at java.util.zip.ZipFile.open(Native Method)
- at java.util.zip.ZipFile.<init>(ZipFile.java:114 )
- at java.util.jar.JarFile.<init>(JarFile.java:133 )
- at java.util.jar.JarFile.<init>(JarFile.java:70 )
- at org.apache.hadoop.util.RunJar.main(RunJar.java:128 )
问题分析:通常出现这种情况有两种原因:jar报格式坏、文件路径不对。
处理方法:检查hadoop中文件的大小与本地是一致的,最后查明原因是jar包路径没有输入正确
完善中