hadoop的单节点伪分布安装步骤

一、安装环境:

配好主机名:hadoop01

系统:CentOS-6.7  

hadoop版本:hadoop-2.6.5-centos-6.7.tar

jdk安装版本:jdk1.8.0_73

主机名和jdk的安装可以参考之前的:《jdk在windows和linux中的安装方式 》《linux系统中主机名的设置 

二、介绍:

Hadoop 可以在单节点上以伪分布式的方式运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。

伪分布式需要修改 2 个配置文件 core-site.xml 和 hdfs-site.xml(其中 hdfs-site.xml 主要用来配置数据块的副本数的,对于伪分布式来说,

不管你配置几个副本,它始终都只有一个副本,所以就不用管了)。

Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

扫描二维码关注公众号,回复: 3468019 查看本文章

三、配置文件及安装过程

  Hadoop 的配置文件位于 hadoop-2.6.5/etc/hadoop/ 文件夹中

1、 修改 hadoop-env.sh 配置文件,添加 jdk 安装目录配置

 命令:vi hadoop-env.sh


2、 修改 core-site.xml

<configuration>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/hadoopdata</value>
 <description>Abase for other temporary directories.</description>
 </property>
 <property>
 <name>fs.defaultFS</name>
Stay hungry Stay foolish -- http://blog.csdn.net/zhongqi2513
 <value>hdfs://hadoop01:9000</value>
 </property>
</configuration>

3、 修改 slaves

命令:vi slaves

直接添加(主机名):hadoop01

4、配置环境变量

命令:vi .bashrc

直接输入:export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5(为hadoop安装路径)
                  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置完记得操作:

source .bashrc

5、 格式化 namenode

命令:hadoop namenode -format


注:出现上图一行提示表示安装成功。

6、 启动 hdfs

命令:start-dfs.start

输入命令:jps

出现如下的进程,表示启动成功。


7、 启动 yarn

命令:start-yarn.sh


8、 检查集群启动是否成功
1、 利用 jps 工具检测各进程是否启动成功
2、 Web UI 查看
HDFS:http://hadoop01:50070/
MapReduce:http://hadoop01:8088/cluster/cluster

或者使用hadoop的自带例子进行运行:

我的目录:/home/hadoop/apps/hadoop-2.6.5/share/hadoop/mapreduce

在例子目录下输入命令:hadoop jar hadoop-mapreduce-examples-2.6.0.jar pi 2 2 

最后会输出:pi=4.0000000000000

猜你喜欢

转载自blog.csdn.net/qq_15508167/article/details/78660277