基本配置参考这一篇
本文中所用到的 主机名:daisuke 用户名:hadoop
hadoop-env.sh
java环境
export JAVA_HOME=/opt/modules/jdk1.7.0_79
core-site.xml
<!--HDFS集群访问入口地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://daisuke:8020</value>
</property>
<!--声明存放数据的目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data</value>
</property>
hdfs-site.xml
namenode与datanode配置在同一节点上,数据块的副本数不能大于datanode的节点数
<!--Block的副本数-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
slaves
此文件指明datanode节点在哪些服务器上,一行一个主机名,此次伪分布式配置,只有一个datanode节点
daisuke
格式化文件系统并启动服务,当前目录为hadoop安装目录,注意!使用hadoop用户进行格式化操作,绝对不能使用root用户
#格式化namenode
bin/hdfs namenode -format
#开启namenode和datanode
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
#查看服务是否成功启动
jps
#关闭所有java进程
killall java
此处常见问题:
namenode启动无效
- 可能原因:配置文件有误,修改后对namenode进行了多次格式化
- 处理办法:删除hadoop安装目录下的data文件夹,关闭所有java进程,重新进行namenode格式化
处于安全模式
- 可能原因:DFS里面的备份块丢失过多
- 处理办法:退出安全模式,或者重新格式化
#退出安全模式
bin/hdfs dfsadmin -safemode leave