1 实现伪分布式配置

1.1 配置HDFS

1 配置core-site.xml:

指定hdfs:

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop01:9000</value>

    </property>

</configuration>

2 配置hdfs-site.xml:

配置副本数为1：

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

1.2 配置Yarn

配置yarn-site.xml:

1指定shuffle，2 指定resourcemanager，因为是伪分布式，rm的host就是本机

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

      <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop01</value>

    </property>

</configuration>

1.3 配置MR

配置mapred-site.xml

指定yarn：

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

2 启动集群

2.1 格式化NameNode

第一次启动，可以格式化NN

bin/hdfs dfs namenode -format

2.2 启动

启动NameNode，DataNode，ResourceManager和NodeManager，jps命令查看是否启动成功

sbin/start-hdfs.sh
sbin/start-yarn.sh

图上是一个个手动启动的：

3 执行wordcount

3.1 创建一个要被统计词频的文件

input:

3.2  将它传到HDFS

bin/hdfs dfs -put input /usr/lane/input

3.3 执行wordcount

• 官方案例都在share文件夹下
• output文件事先不能存在

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar word count /user/lane/input /user/lane/output

查看output文件内容，执行成功。