第一步:前期需要准备的材料:
① 下载hadoop-2.7.6安装包
下载地址: http://hadoop.apache.org/releases.html
② 下载hadoop在windows环境下支持包hadoopwindows-master.
③ 下载hadoop的hadoop.dll和winutils.exe
④ 下载JDK(本人用的1.7)
第二步:安装jdk并配置jdk环境变量(比较简单,可参考百度文库)
第三步:安装包及环境变量配置
①解压hadoop-2.7.6安装包到本地路径
②将hadoop.dll和winutils.exe两个文件放入到/Hadoop-2.7.6/bin目录下
③配置hadoop环境变量:
⑤ 添加path属性,将;%HADOOP_HOME%\bin;添加到path环境变量中。
⑥ 验证hadoop环境,在windows控制台输入: hadoop version 结果如下图:
第四步:修改hadoop配置文件
①找到hadoop-2.7.6\hadoop-2.7.6\etc\hadoop\core-site.xml并做如下的内容修改:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/D:\hadoop-2.7.6\data\tmpdir</value> </property> <property> <name>dfs.name.dir</name> <value>/D:\hadoop-2.7.6\data\dfsdir </value> </property> </configuration>
之后建立相应的目录(要和上图中的value一致),即D:\hadoop-2.7.6\data\tmpdir和D:\hadoop-2.7.6\data\dfsdir如下图所示:
②在目录D:\hadoop-2.7.6\etc\hadoop下找mapred-site.xml(如果不存在,就将mapred-site.xml.template修改为mapred-site.xml)并作如下修改:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.job.tracker</name> <value>hdfs://localhost:9001</value> </property> </configuration>
③在目录D:\hadoop-2.7.6\etc\hadoop下找到yarn-site.xml并作如下修改:
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>
④在D:\hadoop-2.7.6\etc\hadoop目录下找到hadoop-env.cmd做如下修改,(这里的D:\PROGRA~2\Java\jdk1.7.0_71其实和D:\Program Files\Java\jdk1.7.0_71 是等价的,但是路径中不能出现空格,不然后面可能出现问题)
⑤在D:\hadoop-2.7.6\etc\hadoop路径下找到hdfs-site.xml文件,并作如下修改:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:\hadoop-2.7.6\data\namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:\hadoop-2.7.6\data\datanode</value> </property> </configuration>
之后再建立相应的路径(和value一致),如图:
第五步:
①将hadooponwindows-master放到hadoop-2.7.6目录下,
②并修改/hadooponwindows-master/etc/hadoop/hadoop-env.cmd文件,具体和之前hadoop-env.cmd文件一样修改.
③将hadoop-2.7.6目录下的bin文件夹复制并覆盖掉/hadooponwindows-master/bin文件夹.
第六步:测试是否搭建成功
① 在windows控制台输入: hadoop namenode –format [注意尽量不要重复操作,因为重复操作会影响后续hive的测试,当然重复也没关系,后续需要多余操作来解决问题]
② 在windows控制台进入到D:/hadoop-2.7.6/sbin目录下执行: start-all 指令启动hadoop环境.[结果如图,会弹出其他四个控制台输入框,应该就成功了]