在这一章里,我们来学习如何在Windows操作系统下,搭建Hadoop2.7.3集群的Eclipse开发环境。
一、准备工作
1、安装Hadoop2.7.3集群
我们使用VMware工具安装多台Linux系统,然后在Linux系统上搭建我们所需要的Hadoop2.7.3完全分布式集群。具体步骤可以参考我写的《Hadoop》之"踽踽独行"(十)快速搭建一个Hadoop完全分布式集群或者是另一篇文章《Hadoop》之"踽踽独行"(四)CentOS 6.5搭建hadoop2.7.3集群环境。
2、安装Eclipse开发工具
在Windows操作系统下安装jdk开发环境和Eclipse开发工具。Jdk我选择的是"1.8.0_191",Eclipse是photon版本。你们在版本选择上,只要不是太旧就好。
3、下载Hadoop支持Eclipse的插件
hadoop-eclipse-plugin-2.7.3.jar。可以在https://download.csdn.net/download/michael__one/10919759这个地址下载。
4、在Windows操作系统下,安装Hadoop2.7.3
在windows系统下,安装一个Hadoop2.7.3(就是解压到某一个路径下)。在里面创建四个目录备用:如_jars,_tests,_sources,_confs。
然后,在其share目录下搜索.jar文件,将查询出来的所有jar包 复制一份出来,放到_jars目录下,去重。
再从_jars目录下搜索test,将test的jar包剪切到_tests目录下。
然后继续从_jars目录下搜索sources,将sources的jar包剪切到_sources目录下。
再从share目录下搜索default.xml,将四个默认配置文件复制到_confs目录下。
这样我们就将hadoop的字节码jar包(_jars),源码(_sources),测试包(_tests),配置文件(_confs)提取出来了。
四、开始搭建Hadoop的Eclipse开发环境
第一步:关闭Eclipse,安置插件
将插件压缩包内的hadoop-eclipse-plugin-2.7.3.jar存放在eclipse的安装目录下的plugins目录内
第二步:打开Eclipse,指定Hadoop2.7.3安装路径
打开后,出现DFS Locations说明上一步操作没有问题
按下图找到位置,配置windows操作系统上解压的hadoop2.7.3。即指定到hadoop的根目录。apply and close
第三步:显示Map/Reduce Locations窗口
Window->Show View->other->搜索Map/Reduce->open
第四步:配置Hadoop集群信息
右键点击空白处->New Hadoop location:出现下面窗口