在CentOS中部署Hadoop伪集群
- 前提
- 安装CentOS 6或7的64位版本
- 配置到主机名和ip地址
- 新建链接，添写主机名和ip地址；填写用户名和密码
- 准备
- 使用root用户，关闭防火墙
Centos6：
# service iptables stop 关闭防火墙
# chkconfig iptables off 禁止防火墙启动
- 新建用户：
# useradd bigdata 添加用户
# echo 123456 | passwd bigdata --stdin 修改密码
- 新建用户：
# mkdir -p /opt/bigdata/conf
# mkdir -p /opt/bigdata/core
# mkdir -p /opt/bigdata/data
# mkdir -p /opt/bigdata/logs
# ll /opt/ 查看目录
# chown -R bigdata:bigdata /opt/bigdata 改变目录的属主
（再新建连接）
- 安装jdk
4.1 安装
解压到/opt/bigdata/core/jdk目录
$ cd /opt/bigdata/core 进入这个目录
$ ll 查看当前目录
$ tar zxvf jdk-8u151-linux-x64.tar.gz 压缩该文件
$ mv jdk-8u151 jdk 将该文件改名
4.2 配置环境变量
编辑/opt/bigdata/conf/bigdata_env.sh 文件如下：
$ vi /opt/bigdata/conf/bigdata_env.sh 进入该环境
export JAVA_HOME=/opt/bigdata/core/jdk 加入下面这两句
export PATH=$PATH_HOME/bin
$ vi ~/.bashrc 建立文件与脚本之间的联系
$ source ~/.bashrc 使环境变量生效
$ echo $JAVA_HOME 检验java是否可以使用
4.3 验证jdk
# java -version
- 部署zookeeper
5.1 安装zookeeper
$ cd /opt/bigdata/core 进入core目录下
$ ll 查看该目录
$ tar zxvf zookeeper-3.4.13.tar.gz 压缩该文件
$ mv zookeeper-3.4.13 zookeeper 将该文件改名
5.2 配置环境变量
$ vi /opt/bigdata/conf/bigdata_env.sh 进入该环境
export ZOOKEEPER_HOME=/opt/bigdata/core/zookeeper 加入下面这两句
export PATH=$PATH:$ZOOKEEPER_HOME/bin
$ source ~/.bashrc 使环境变量生效
$ echo $ZOOKEEPER_HOME 检验zookeeper是否可以使用
5.3 配置 zookeeper
$ cd /opt/bigdata/core/zookeeper/conf/ 切换到该目录
$ ll 查看目录
$ cp zoo_sample.cfg zoo.cfg 生成zoo.cfg
$ vi zoo.cfg 编辑
（将文件dataDir改换路径为/opt/bigdata/data/zookeeper
添加dataLogDir=/opt/bigdata/logs/zookeeper）
5.4 启动并验证 zookeeper
$ zkServer.sh start
$ zkServer.sh status 查看启动后的状态
- 部署 hadoop
6.1配置hadoop环境变量
$ cd /opt/bigdata/conf/ 回到该目录
$ ll 查看目录
$ vi bigdata_env.sh 进入该环境
export HADOOP_HOME=/opt/bigdata/core/hadoop
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
$ source ~/.bashrc 使环境变量生效
$ hadoop version 检验hdoop是否可以使用
6.2 配置 hdfs
6.2.1 修改core-site.xml配置
$ cd /opt/bigdata/core/hadoop/ 进入该目录
$ ll 查看该目录下的文件
$ cd etc/hadoop/ 进入该文件
$ ll *site* 查看需要配置的文件
$ vi core-site.xml 进入配置环境
<property>
<name>fs.default.name</name>
<value>hdfs://centos:8020</value>
</property>
6.2.2 修改hdfs-site 配置
$ vi hdfs-site.xml 进入配置环境
<property>
<name>dfs.namenode.name</name>
<value>/opt/bigdata/data/dfs/name</value>
<description>namenode 存放 name table(fsimage) 本地目录
</description>
</property>
<property>
<name>dfs.namenode.edits.dir</name>
<value>/opt/bigdata/data/dfs/edit</value>
<description>namenode 存放 transaction file(edits) 本地目录
</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/bigdata/data/dfs/data</value>
<description>namenode 存放 block本地目录 </description>
</property>
<property>(可以不配置)
6.2.3 格式化namenode，并启动hdfs
hdfs namenode -format
hadoop-deamon.sh start namenode
hadoop-deamon.sh start datanode
6.2.4 验证hdfs
$ hadoop fs -ls /
$ hadoop fs -mkdir -p /tmp/in
$ hadoop fs -put /etc/hosts /tmp/in
6.3 配置yarn
6.3.1 修改 mapred-site 配置
$ cp mapred-site.xml.template mapred-site.xml
$ vi mapred-site.xml 进入mapred文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6.3.2 修改yarn-site 配置
$ vi yarn-site.xml 进入yarn文件
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanader.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
6.3.3 启动yarn
$ yarn-daemon.sh start resourcemanager
$ yarn-daemon.sh start nodemanager
$ jps 查看
$ netstat -ltnp 查看端口（）
6.3.4 测试 wordcount
$ hadoop jar /opt/bigdata/core/hadoop
/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar
wordcount /temp/in /temp/out
$ hadoop fs -cat /temp/out/part-r-00000 检查结果是否有问题