由于学习需要,如果将Hadoop相关软件全安装在虚拟机上,由于电脑配置不高,会很卡顿,于是
在windows上通过eclipse-hadoop插件连接虚拟机CentOS7上安装的Hadoop
虚拟机上java的版本: jdk-7u75-linux-x64
虚拟机上hadoop的版本: hadoop-2.6.0
1.CentOS上的Hadoop安装
参考文档的操作系统是Ubuntu的,不过CentOS基本一样,
直接用自己的root用户搞就可以,不用再创建用户
2.win10eclipse安装Hadoop插件
参考文档是在Linux上安装,到windows也是差不多,就是要注意插件版本要Hadoop版本对应
安装插件时可能出现报错:
Could not create the view: org.apache.hadoop.eclipse.view.servers
我的解决是直接把workspace里的.metadata文件删除,参考
3.eclipse通过hadoop插件连接hadoop
3.1 直接通过虚拟机地址连接
Location name: 连接名随意取
Host: 填的是我虚拟机的IP地址(这需要在Hadoop的配置中将localhost改为虚拟机的IP地址,代码中的路径也需要用IP地址表示,用localhost会报错
)
Map/Reduce(V2) Master 下的Port: 为MapReduce端口号默认50020
DFS Master下的Port: HDFS端口号默认9000
User name: 连接CentOS的用户名
该参数参考图片出处
其他参考
3.2通过VMware虚拟网编辑器转发端口连接
搜索错误时受此启发,使用该方法。但感觉实际意义不大。
VMware端口转发设置
Host: 127.0.0.1为本地主机
Host: 填的是我虚拟机的IP地址(这需要在Hadoop的配置中将localhost改为虚拟机的IP地址)
Map/Reduce(V2) Master 下的Port: 这个端口相对随意,不被占用即可
DFS Master下的Port: 同样不被占用即可,端口被占用运行时会有报错
(查看被占用端口49157对应的PID,输入命令:netstat -aon|findstr "49157"
)
User name: 当前windows用户名
参数设置无误、确认CentOS上的Hadoop启动后,进行连接
出现的错误:
经查询,有说这是前面的配置不正确的,也有说这是由于HDFS里没有文件的,但我不是这些原因,后网络问题连接问题解决,可正常连接。后经查询知,若相关配置无问题且运行正常,该报错可忽略。