-----------------------------------------------------------------------------------------------------------------------------------------------------
**第一大部分
-----------------------------------------------------------------------------------------------------------------------------------------------------
****************************************************************************************************
一、安装JDK
卸载JDK:
查看已安装JDK版本: rpm -qa | grep jdk
卸载命令:yum -y remove ————————
配置/etc/profile
JAVA_HOME=/usr/jvm/jdk1.8.0_191
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
立即生效: source /etc/profile
查看JDK版本:java -version
****************************************************************************************************
二、关闭防火墙
查看防火墙状态:firewall-cmd --state
启动: systemctl start firewalld
关闭: systemctl stop firewalld
查看状态: systemctl status firewalld
开机禁用 : systemctl disable firewalld
开机启用 : systemctl enable firewalld
****************************************************************************************************
三、修改IP
修改 /etc/sysconfig/network-scripts/ifcfg-eno16777736文件
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
#静态IP
HWADDR=00:0C:29:0B:9A:DB #物理地址
ONBOOT=yes #开机启动
BROADCAST=192.168.1.255 #与主机IP一致,后面+255
IPADDR=192.168.1.100 #前三位与主机IP一致,后为新IP
NETMASK=255.255.255.0 #与主机一致
GATEWAY=192.168.1.1 #与主机一致
重启网络服务:service network restart
读取日志:cat ?????
****************************************************************************************************
四、配置 /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.198.8.100 master
192.198.8.101 slaver02
192.198.8.102 slaver03
192.198.8.103 slaver04
192.198.8.104 slaver05
****************************************************************************************************
五、配置免密登录
ssh-keygen #三个确定
cd ~/.ssh 查看文件
cat id_rsa.pub >> authorized_keys
scp authorized_keys root@slaver02:~/.ssh/authorized_keys
在每一台机器上都如此
最终累计的authorized_keys分发给每一台机器
****************************************************************************************************
-----------------------------------------------------------------------------------------------------------------------------------------------------
**第二大部分
-----------------------------------------------------------------------------------------------------------------------------------------------------
****************************************************************************************************
一、下载hadoop安装包
http://mirrors.shu.edu.cn/apache/hadoop/common/
在/usr/local 创建Hadoop文件夹
mkdir hadoop
移动安装包:mv hadoop-2.9.2.tar /usr/local/hadoop/
****************************************************************************************************
二、解压hadoop安装包
cd /usr/local/hadoop/
tar -zxvf hadoop-2.9.2
****************************************************************************************************
三、配置环境变量
vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
export PATH=$PATH:HADOOP_HOME/bin
****************************************************************************************************
四、创建文件夹
mkdir /usr/local/hadoop/name
mkdir /usr/local/hadoop/data
mkdir /usr/local/hadoop/temp
****************************************************************************************************
五、配置hadoop文件
***********************************************************
vi /usr/local/hadoop/hadoop-2.9.2/etc/hadoop-env.sh
添加和修改内容:
export JAVA_HOME=/usr/jvm/jdk1.8.0_191
***********************************************************
vi /usr/local/hadoop/hadoop-2.9.2/etc/yarn-env.sh
添加和修改内容:
export JAVA_HOME=/usr/jvm/jdk1.8.0_191
***********************************************************
****************************************************************************************************
六、配置/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/temp</value>
</property>
****************************************************************************************************
七、配置/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml文件
<!-- 指定HDFS文件备份数 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 指定HDFS文件系统主节点元数据存放目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop-2.9.2/name</value>
<final>true</final>
</property>
<!-- 指定HDFS文件系统数据存放目录-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop-2.9.2/data</value>
<final>true</final>
</property>
<!-- 指定检查节点地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slaver02:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
****************************************************************************************************
八、配置/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
****************************************************************************************************
九、配置/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
****************************************************************************************************
十、配置/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/slavers
slaver02
slaver03
拷贝整个hadoop-2.9.2到各个节点上
scp /usr/local/hadoop/hadoop-2.9.2 slaver02:/usr/local/hadoop/hadoop-2.9.2
......
......
****************************************************************************************************
-----------------------------------------------------------------------------------------------------------------------------------------------------
**第三大部分
-----------------------------------------------------------------------------------------------------------------------------------------------------
一、格式化namenode
hdfs namenode -format
****************************************************************************************************
二、启动集群
./start-all.sh
查看进程
JPS
****************************************************************************************************
三、组件对应进程
hdfs: namenode, datanode
address: master:50070
yarn: resourecmanager
address: master:18088
****************************************************************************************************
四、运行自带的Wordcount
1. 准备数据。UTF-8的txt文件
2. 创建HDFS目录
hadoop fs -mkdir /usr
hadoop fs -mkdir /usr/input
3. 上传文件到集群
hadoop fs -put worddemo.txt /usr/input/
4. 提交jar包
hadoop jar /usr/local/hadoop/hadoop-2.9.2/share/mapreduce/hadoop-mapreduce-examples.jar wordcount
/usr/input/worddemo.txt /usr/output
5. 在web查看yarn界面显示的任务进程;
****************************************************************************************************
五、集群安装完毕!