配置Eclipse的hadoop-eclipse-plugin.jar(自学随笔)

1.在hadoop官网中找到hadoop对eclipse的支持包进行下载(有些版本hadoop自带支持包 路径:/hadoop/contrib 中)
2.将下载好的.jar文件复制到eclipse的plugins文件夹下
3.打开eclipse(如已经打开,请重启),菜单栏
Window >> Preferences >> Hadoop Map/Reduce
选择Hadoop的安装路径
4.Window >> Perspective >> Open Perspective >> Other >> Map/Reduce
显示Map/Reduce的Locations界面
5.在 Map/Reduce Locations 右上角选择New Hadoop Location


Location name:任意填写 只是在Location面板中显示你创建的Location名称
Map/Reduce Master:
此处直接使用Hadoop配置文件中mapred-site.xml文件的属性
(我自己的配置:Host处 由于我是伪分布模式 所以用localhost,Port使用mapred-site.xml中的配置信息9001)
DFS Master:
此处直接使用Hadoop配置文件中hdfs-site.xml文件的属性
填写完成后Finish


此时在Eclipse的Project栏中会刷新出你的 DFS Locations,可以直观地显示出你的hdfs文件系统的目录结构等等信息

重要!(自己纠结了一段时间的地方,可能很多新手都有可能遇到)

Eclipse可以直接操作HDFS的文件系统,但是我在试着操作的时候,出现了错误
Unable to delete file”hdfs”…
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException:
Permission denied: user=Administrator, access=WRITE, inode=”hadoop”: hadoop:supergroup:rwxr-xr-x

解决方法

移除namenode的安全模式

hadoop dfsadmin -safemode leave

用户可以通过dfsadmin -safemode value 来操作安全模式,value参数说明:
enter - 进入安全模式
leave - 强制namenode离开安全模式
get   - 返回安全模式是否开启的信息
wait  - 等待,一直到安全模式结束

修改(hdfs-site.xml) 文件

<property>  
  <name>dfs.permissions</name>  
  <value>false</value>  
  <description>  
    If "true", enable permission checking in HDFS.  
    If "false", permission checking is turned off,  
    but all other behavior is unchanged.  
    Switching from one parameter value to the other does not change the mode,  
    owner or group of files or directories.
    默认为true,如果true,那么要删除别人创建的文件(夹)就会报 Permission denied: user=xxx, access=WRITE, inode...  
  </description>  
</property>

修改完成后,记得重启hadoop

猜你喜欢

转载自blog.csdn.net/happy_joker/article/details/52903451