1 伪分布式安装、配置
1)创建用户
创建用户:
useradd hadoop
passwd hadoophadoop
# 添加sudo
visudo
username ALL=(ALL) ALL
2)配置网络
1 配置hostname,修改network文件:/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop000
2 配置网卡信息,修改文件:/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
IPADDR=192.168.18.97
GATEWAY=192.168.18.2
DNS1=192.168.18.2
NETMASK=255.255.255.0
3 修改hosts文件:/etc/hosts,在最后添加:
192.168.18.97 hadoop000
centos7下修改主机名:
hostnamectl set-hostname 主机名
4 关闭防火墙
查看SElinux是否开启:
getenforce
关闭SElinux
# 临时关闭
setenforce 0
# 永久关闭
修改配置文件/etc/selinux/config
将 SELINUX=enforcing 改成 SELINUX=disabled
重启系统使其生效
关闭iptables
service iptables stop
3)安装必要软件
1.安装jdk并配置环境变量
解压:tar -zxvf jdkxxxxxx.tar.gz -C 指定目录
添加到环境变量:~/.bash_profile
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
使环境变量生效:source ~/.bash_profile
验证java是否配置成功:java -version
2.安装ssh
sudo yum install ssh
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
3.下载并解压Hadoop
下载:直接到cdh官网下载
解压:tar -zxvf hadoopxxxxxx.tar.gz -C 指定目录
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP_HOME/bin:$PATH
4.Hadoop配置文件的修改(hadoop_home/etc/hadoop)
hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
core-site.xml
<property>:
<name>fs.defaultFS</name>
<value>hdfs://hadoop000:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
slaves
hadoop000
yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.启动hdfs(到hadoop目录中找脚本执行)
格式化文件系统(仅第一次执行即可,不可重复执行):
hadoopxx/bin/hdfs namenode -format
启动hdfs:
sbin/start-dfs.sh
验证是否启动成功:
# 成功后则如下显示
jps
DataNode
SecondaryNameNode
NameNode
浏览器访问方式:http://hadoop000:50070
6.停止hdfs
sbin/stop-dfs.sh