一、前言
最近在学习Linux,初步完成了基础命令的学习,开始自己尝试安装Hadoop。大部分都是参考别人的文章,我这边主要是总结碰到的一些坑或者需要注意的命令,供自己后续学习。
需要包括以下步骤:
安装VMware——>安装Linux(我用了centos7)——>安装jdk——>安装Hadoop——>克隆虚拟机——>做虚拟机配置——>启动Hadoop
注意!务必安装好jdk和Hadoop后再克隆Linux,避免重复劳动!!!
二、基础程序安装
主要包括了Vmware、SecureCRT和Xftp 6
三个程序包的下载路径如下(不保证能用,可以自行百度):
Vmware:
https://www.jb51.net/softs/638376.html
SecureCRT:
https://www.newasp.net/soft/16364.html
Xftp 6:
https://www.7down.com/soft/268899.html
注1:Xftp 6可以用linux中的rz命令来代替
yum install -y lrzsz
注2:rz命令不能在VMware里直接运行(弹不出窗口),需要在SecureCRT里才能正常使用!
三、安装Linux(centos7)
主要参考文章:
VMware安装Centos7超详细过程(图文)
重点关注:
注:在配置网络的时候,博主用了桥接模式,但我后续使用的是NAT模式。一开始我没改,导致后续无论我怎么在linux里修改都一直连不上网,后来如下图所示修改,再按照下面博文修改linux参数即可。
centos7 ping不通 name or service not known
1、虚拟机设置调整为NAT模式
2、Linux下输入下面命令调整
vi /etc/sysconfig/network-scripts/ifcfg-ens33
3、完成修改后记得重启网络
service network restart
四、安装JDK
主要参考文章:
虚拟机中Linux系统安装jdk的详细步骤
主要步骤:
1、解压jdk
mkdir opt
cd opt
rz #在这里根据弹出窗口手工导入
tar -zxvf jdk-8u144-linux-x64.tar.gz
2、配置java环境
vi /etc/profile #配置环境变量
配置文件最后输入:
export JAVA_HOME=/opt/jdk1.8.0_144/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
保存后刷新环境变量使新编辑的profile生效:
source /etc/profile
查看是否对了
java -version
五、安装Hadoop
主要参考文章:
史上最简单详细的Hadoop完全分布式集群搭建
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)
主要步骤:
1、上载文件并解压缩
mkdir /opt/hadoop
cd /opt/hadoop
rz #在这里根据弹出窗口手工导入
tar -zxvf hadoop-2.8.3.tar.gz
vi /etc/profile #配置环境变量
2、新建几个目录
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
3、修改core-site.xml
cd /opt/hadoop/hadoop-2.8.0/etc/hadoop/
vi core-site.xml
在configuration节点内加入配置:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hserver1:9000</value>
</property>
</configuration>
4、修改hadoop-env.sh
修改vi /opt/hadoop/hadoop-2.8.3/etc/hadoop/hadoop-env.sh文件
vi hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}
修改为:
export JAVA_HOME=/opt/jdk1.8.0_144
说明:修改为自己的JDK路径
5、修改hdfs-site.xml
vi /opt/hadoop/hadoop-2.8.3/etc/hadoop/hdfs-site.xml
vi hdfs-site.xml
在<configuration>节点内加入配置:
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
说明:dfs.permissions配置为false后,可以允许不要检查权限就生成dfs上的文件,方便倒是方便了,但是你需要防止误删除,请将它设置为true,或者直接将该property节点删除,因为默认就是true。
6、新建并且修改mapred-site.xml
在该版本中,有一个名为mapred-site.xml.template的文件,复制该文件,然后改名为mapred-site.xml,命令是:
cp mapred-site.xml.template mapred-site.xml
修改这个新建的mapred-site.xml文件,在 configuration节点内加入配置:
<property>
<name>mapred.job.tracker</name>
<value>hserver1:49001</value> #这里要注意,不同的虚机可能会不同
</property>
<property>
<name>mapred.local.dir</name>
<value>/root/hadoop/var</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
7、修改slaves文件
修改slaves文件,将里面的localhost删除,添加如下内容:
hserver2
hserver3
8、修改yarn-site.xml文件
修改/opt/hadoop/hadoop-2.8.3/etc/hadoop/yarn-site.xml文件,
vi /opt/hadoop/hadoop-2.8.3/etc/hadoop/yarn-site.xml
vi yarn-site.xml
在节点内加入配置(注意了,内存根据机器配置越大越好,我这里只配2个G是因为机器不行):
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hserver1</value>
</property>
<property>
<description>The address of the applications manager interface in the RM.</description>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
<description>The address of the scheduler interface.</description>
<name>yarn.resourcemanager.scheduler.address</name>
<value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
<description>The http address of the RM web application.</description>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
<description>The https adddress of the RM web application.</description>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
<description>The address of the RM admin interface.</description>
<name>yarn.resourcemanager.admin.address</name>
<value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
<discription>每个节点可用内存,单位MB,默认8182MB</discription>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
说明:yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查,如果你是安装在虚拟机上,这个配置很有用,配上去之后后续操作不容易出问题。如果是实体机上,并且内存够多,可以将这个配置去掉。
9、配置环境变量
vi /etc/profile
配置文件最后输入:
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存后使新编辑的profile生效:
source /etc/profile
六、克隆虚拟机并完成相关配置
1、修改hostname
hostname hserver1
在分机上同样需要修改hostname,分别为hserver2和hserver3
2、修改/etc/hosts文件
vi /etc/hosts
192.168.253.131 hserver1
192.168.253.132 hserver2
192.168.253.133 hserver3
3、给3个机器生成秘钥文件
ssh-keygen -t rsa -P ''
4、在hserver1上创建authorized_keys文件
cd /root/.ssh/
cp id_rsa.pub authorized_keys
5、将两个子节点的公钥拷贝到主节点上
分别在两个子节点上执行:
scp /root/.ssh/id_rsa.pub root@hserver1:/root/.ssh/id_rsa_hserver2.pub
scp /root/.ssh/id_rsa.pub root@hserver1:/root/.ssh/id_rsa_hserver3.pub
6、在主节点上,将拷贝过来的两个公钥合并到authorized_keys文件中
主节点上执行(一次执行):
cat id_rsa_hserver2.pub>> authorized_keys
cat id_rsa_hserver3.pub>> authorized_keys
7、将主节点的authorized_keys文件分别替换子节点的authorized_keys文件
主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置
scp authorized_keys root@hserver2:/root/.ssh/
scp authorized_keys root@hserver3:/root/.ssh/
七、启动Hadoop
1、在hserver1上运行下面代码:
cd /opt/hadoop/hadoop-2.8.3/bin
./hadoop namenode -format
注:如果报错的话,一般是在第五步配置中格式出错导致的(比如多了一些< /configuration>)
2、在hserver1上运行下面代码:
cd /opt/hadoop/hadoop-2.8.3/sbin
./start-all.sh
3、测试hadoop
1)、首先关闭防火墙
systemctl stop firewalld.service
2)、在windows随便打开一个浏览器,输入下面的hserver1的地址
http://192.168.10.131:50070/