1. JDK1.8安装(不做解释)
2. 下载hadoop2.7.5.tar.gz,或者自行去百度下载。
3. 下载hadooponwindows-master.zip(后面有用)
安装Hadoop:
下载好Hadoop2.7.5的压缩包之后,解压到目录,我放在D:\hadoop-2.7.5
4 修改hadoop配置文件
- 1.编辑“D:\hadoop-2.7.5\etc\hadoop”下的core-site.xml文件,将下列文本粘贴进去,并保存;
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/hadoop-2.7.5/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/hadoop-2.7.5/workplace/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 2.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件,粘贴一下内容并保存:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
- 3.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的hdfs-site.xml文件,粘贴以下内容并保存。请自行创建data目录,在这里我是在HADOOP_HOME目录下创建了workplace/data目录:
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/hadoop-2.7.5/workplace/data</value>
</property>
</configuration>
- 4.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的yarn-site.xml文件,粘贴以下内容并保存;
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
- 5.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存:
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\java\jdk
- 替换文件
将下载好的hadooponwindows-master.zip(笔记第一步有下载地址,不知道可以去笔记开头的需求栏目查看)解压,将解压后的bin目录下的所有文件直接覆盖Hadoop的bin目录。
5运行环境
- 1.运行cmd窗口,执行“hdfs namenode -format”后继续输入'y',如图:
- 2.运行cmd窗口,切换到hadoop的sbin目录,执行“start-all.cmd”,它将会启动以下进程。
成功后,如图:
扫描二维码关注公众号,回复:
8790453 查看本文章
目前Hadoop已经搭建完毕。
6测试:
根据你core-site.xml的配置,接下来你就可以通过:hdfs://localhost:9000来对hdfs进行操作了
hadoop自带的web控制台GUI
- 1.资源管理GUI:http://localhost:8088/;(默认是8088端口,自己可以更改随意端口)
- 2.节点管理GUI:http://localhost:50070/;