Hadoop集群搭建
参考网址:
https://blog.csdn.net/gebitan505/article/details/77893810
提示:所有集群安装zookeeper,并配置相关系统的主机名映射;然后安装Hadoop软件,参考如下步骤进行安装。
1 安装java
详见java安装手册《JDK1.8安装搭建手册》。
2 安装zookeeper
详见《Zookeeper安装手册》。
3 解压配置
(1)将Master节点中hadoop的安装目录打包,发送给各Slave节点,注意必须先打包再发送,否则该目录下的link文件将失效。
本集群信息master节点196.168.11.20,
slave节点为196.168.11.[9-19],slave节点共11个节点。
cd /usr/lib
sudo tar –cvf hadoop.tar hadoop/
scp hadoop.tar hadoop@Slave1:/home/hadoop/
(2)登录Slave节点,将文件解压到对应的路径:
sudo tar xvf hadoop.tar /usr/local
设置文件夹权限:
sudo chown -R hadoop:hadoop /usr/local/hadoop
(3)在Slave节点中配置hadoop环境变量,请参照Master节点。
(4)修改5个配置文件,分别是hadoop/etc/hadoop目录下的core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml和slaves文件,注意,所有节点均需修改。
core-site.xml配置文件:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop12:9000</value>
</property>
</configuration>
hdfs-site.xml配置文件:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/tmp/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/tmp/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value> hadoop12:50090</value>
</property>
</configuration>
mapred-site.xml配置文件:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value> hadoop12:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value> hadoop12:19888</value>
</property>
</configuration>
yarn-site.xml配置文件:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>cit128</value>
</property>
</configuration>
slave配置文件:
slaves:
hadoop01
hadoop02
hadoop03
hadoop04
hadoop05
hadoop06
hadoop07
hadoop08
hadoop09
hadoop10
hadoop11
4 安装包分发
利用scp命令进行安装包的分发:
scp –r /home/Hadoop-2.7.2/ hostname:/home/
5 启动与关闭
start-dfs.sh
start-yarn.sh
或者使用start-all.sh命令代替上述两份脚本文件也可以。
启动历史服务进程:
mr-jobhistory-daemon.sh start historyserver
启动后,Master节点上运行的进程有:
>
NameNode
SecondaryNameNode
JobHistoryServer
ResourceManager
Slave节点上运行的进程有:
DataNode
NodeManager
6 运行hadoop分布式实例
创建用户目录:
hdfs dfs -mkdir -p /user/hadoop
创建输入目录和输入文件:
hdfs dfs -mkdir input
hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input
运行mapreduce作业:
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output
等待mapreduce作业运行结束,查看运行结果:
hdfs dfs -cat output/*
(感谢通通同学的大力支持!!!),如有需要请@TA
https://blog.csdn.net/wangxiaotongfan/article/category/6140063