HDFS搭建

一、搭建前准备

配置好各台服务器的地址映射关系,相互之间的免密登录,安装jdk环境,时间同步(ntpdate time.nist.gov)

准备hadoop-2.6.5.tar.gz 安装包,放入/home目录下。


二、分析

环境需要一台放置NameNode(NN),需要一台放置SecondaryNameNode(SNN)

还需要放置在三台服务器上的DataNode(DN),规划:ding01放置NameNode和DataNode

ding02放置SecondaryNameNode和DataNode,ding03防止DataNode。这样就完成了

一个NN一个SNN和三个副本DN的规划


三、开始搭建

将home目录下的hadoop压缩包级压缩

tar -zxvf hadoop-2.6.5.tar.gz 

 

配置hadoop安装包下的etc/hadoop/hadoop-env.sh文件,路径为你的jdk安装路径

 

配置core-site.xml文件

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://ding01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-2.6.5</value>

</property>

</configuration>

配置hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>ding02:50090</value>

</property>

<property>

<name>dfs.namenode.secondary.https-address</name>

<value>ding02:50091</value>

</property>

</configuration>

另外

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

是指定副本数目的

 

在/home/hadoop-2.6.5/etc/hadoop新建masters文件写上SNN节点名称ding02

 

在/home/hadoop-2.6.5/etc/hadoop新建slaves文件写上DN服务器名,每行一个

 

配置环境变量

谨慎,不要配错

source ~/.bash_profile

 

将本机配置好的hadoop发送到其他服务器上

 

scp -r hadoop-2.6.5 ding02:`pwd`

 

scp -r hadoop-2.6.5 ding03:`pwd`

 

格式化NameNode

[root@ding01 ~]# hdfs namenode -format

 

 

启动HDFS:start-dfs.sh

 

关闭防火墙

service iptables stop


四、测试

然后在页面访问


猜你喜欢

转载自blog.csdn.net/qq_33155765/article/details/82661846