版权声明:有错误还请斧正,感激不尽。 https://blog.csdn.net/Gentle_Guan/article/details/82631995
在win10下安装hadoop2.7.1-搭建单机hadoop
1 配置JAVA_HOME
由于JAVA_HOME 路径不要有空格
所以配置环境变量中/Program Files/ 改为 /Progra~1/ 例:
JAVA_HOME
C:/Progra~1/Java/jdk1.8.0_181
PATH
%JAVA_HOME%/bin
2 配置HADOOP_HOME,PATH
2.1 解压hadoop-2.7.1.tar.gz到D:/hadoop (注:因人而异,举例而已)
2.2 替换hadoop-2.7.1下的bin文件与etc文件(文件在/bin, /etc,另etc可自己配置 links )
2.3 将hadoop.dll复制到C:/windows/System32下 (文件在/dll links )
2.4 配置环境变量
HADOOP_HOME
D:/hadoop/hadoop-2.7.1/
PATH
%HADOOP_HOME%/bin
%HADOOP_HOME%/sbin
3 配置etc下配置文件
3.1 hadoop-env.cmd
@rem The java implementation to use. Required.
@rem set JAVA_HOME=%JAVA_HOME%
@rem 添加下一行
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_181
@rem The jsvc implementation to use. Jsvc is required to run secure datanodes.
@rem set JSVC_HOME=%JSVC_HOME%
3.2 core-site.xml
<!-- 添加如下,单机模式 -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.3 hdfs-site.xml
<!-- 数据复制一份,临时目录data\namenode和data\datanode需要自行创建 -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>D:\hadoop\hadoop-2.7.1\data\namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>D:\hadoop\hadoop-2.7.1\data\datanode</value>
</property>
</configuration>
3.4 mapred-site.xml
<!-- 执行框架设置为 Hadoop YARN -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.5 yarn-site.xml
<!-- 指定shuffle -->
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
3.6 slaves
localhost
4 准备工作
hdfs namenode -format
hdfs datanode -format
5 开启服务
在hadoop/sbin下启动start-all.cmd
或者 直接cmd下 start-all
注:会开启四个cmd窗口 不要关闭要用 stop-all关闭