hadoop安装配置
- 在 /opt/ 目录下创建 software 与 module 空文件夹
cd /opt/ mkdir software module
- 下载或上传 Hadoop 安装包到此目录下
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
- 解压 Hadoop 安装包到 /opt/module/ 目录下
tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/
- 在 /opt/module/hadoop-2.7.7/ 目录下创建 logs 与 tmp 空文件夹
cd /opt/module/hadoop-2.7.7/ mkdir logs tmp
- 进入 /opt/module/hadoop-2.7.7/etc/hadoop/ 目录下分别配置 hadoop-env.sh ,hadoop-env.sh ,hdfs-site.xml
cd /opt/module/hadoop-2.7.7/etc/hadoop/
vi hadoop-env.sh
按 Shift+ G 键跳到最后一行,在按 O 键进入下一行编辑
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_144
按 ESC 键退出编辑模式
:wq
vi core-site.xml
按 Shift+ G 键跳到最后一行,在按 i 键进入编辑模式,在标签 configuration 里按 Enter 键 输入以下配置
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://rhe101:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.7/data/tmp</value>
</property>
按 ESC 键退出编辑模式
:wq
vi hdfs-site.xml
按 Shift+ G 键跳到最后一行,在按 i 键进入编辑模式,在标签 <configuration>
后面按 Enter 键 输入以下配置
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
按 ESC 键退出编辑模式
:wq
- 更改主机名
vi /etc/hosts
按 Shift+ G 键跳到最后一行,在按 O 键进入下一行编辑
192.168.159.101 rhe101
192.168.159.102 rhe102
192.168.159.103 rhe103
192.168.159.104 rhe104
按 ESC 键退出编辑模式
:wq
- 修改主机名
hostnamectl set -hostname rhe101
- 启动集群
(a)格式化 namenode(第一次启动时格式化,以后就不要总格式化)
cd /opt/module/hadoop-2.7.7/
bin/hdfs namenode -format
(b)启动
sbin/start-dfs.sh
(c)启动namenode
sbin/hadoop-daemon.sh start namenode
(d)启动datanode
sbin/hadoop-daemon.sh start datanode
- 关闭防火墙
systemctl stop firewalld.service
- 禁用防火墙
systemctl disable firewalld.service
- 在浏览器中访问 http://192.168.159.101:50070/ 验证是否成功