一、搭建前准备
配置好各台服务器的地址映射关系,相互之间的免密登录,安装jdk环境,时间同步(ntpdate time.nist.gov)
准备hadoop-2.6.5.tar.gz 安装包,放入/home目录下。
二、分析
环境需要一台放置NameNode(NN),需要一台放置SecondaryNameNode(SNN)
还需要放置在三台服务器上的DataNode(DN),规划:ding01放置NameNode和DataNode
ding02放置SecondaryNameNode和DataNode,ding03防止DataNode。这样就完成了
一个NN一个SNN和三个副本DN的规划
三、开始搭建
将home目录下的hadoop压缩包级压缩
tar -zxvf hadoop-2.6.5.tar.gz
配置hadoop安装包下的etc/hadoop/hadoop-env.sh文件,路径为你的jdk安装路径
配置core-site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://ding01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.6.5</value>
</property>
</configuration>
配置hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>ding02:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>ding02:50091</value>
</property>
</configuration>
另外
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
是指定副本数目的
在/home/hadoop-2.6.5/etc/hadoop新建masters文件写上SNN节点名称ding02
在/home/hadoop-2.6.5/etc/hadoop新建slaves文件写上DN服务器名,每行一个
配置环境变量
谨慎,不要配错
source ~/.bash_profile
将本机配置好的hadoop发送到其他服务器上
scp -r hadoop-2.6.5 ding02:`pwd`
scp -r hadoop-2.6.5 ding03:`pwd`
格式化NameNode
[root@ding01 ~]# hdfs namenode -format
启动HDFS:start-dfs.sh
关闭防火墙
service iptables stop
四、测试
然后在页面访问