目录
1. Hadoop HDFS:(Hadoop Distribute File System )
HADOOP框架
大数据技术解决的是什什么问题?
大数据技术解决的主要是海海量量数据的存储和计算。
Hadoop的⼴广义和狭义之分
狭义的Hadoop: 指的是⼀一个框架,Hadoop是由三部分组成:
HDFS:分布式⽂文件系统--》存储;
MapReduce: 分布式离线计算框架--》计算;
Yarn: 资源调度框架
广义的Hadoop: 广义Hadoop是不不仅仅包含Hadoop框架,除了了Hadoop框架之外还有⼀一些辅助框架。
Flume:日志数据采集,
Sqoop:关系型数据库数据的采集;
Hive: 深度依赖Hadoop框架完成计算(sql),
Hbase: 大数据领域的数据库(mysql)
Sqoop:数据的导出
广义Hadoop指的是⼀一个生态圈。
第一部分 大数据简介
第 1 节 大数据的定义
大数据是指无法在⼀一定时间范围内用常规软件工具进⾏行行捕捉、管理理和处理理的数据集合,是需要新处理理模式才能具有更更强的决策力、洞洞察发现⼒力力和流程优化能⼒力力的海海量量、⾼高增⻓长率和多样化的信息资产。
第 2 节 ⼤大数据的特点
大数据的特点可以⽤用 IBM 曾经提出的 “5V” 来描述,如下:
⼤量
采集、存储和计算的数据量都⾮常⼤。
计算机存储单位⼀般⽤B,KB,MB,GB,TB,PB,EB,ZB,YB,BB、NB、DB来表示,它们之间的关系是
1GB = 1024 MB 1TB = 1024 GB
1PB = 1024 TB 1EB = 1024 PB
1ZB = 1024 EB 1YB = 1024 ZB 1BB = 1024 YB
1NB = 1024 BB
1DB = 1024 NB
以PB为例,PB级数据量有多⼤?是怎样的⼀个概念?
假如⼿机播放MP3的速度为平均每分钟1MB,⽽1⾸歌曲的平均时⻓为4分钟,那么1PB存量的歌曲可以连续播放2000年。
1PB 也相当于50%的全美学术研究图书馆藏书咨询内容。
(1)1986年,全球只有0.02EB也就是约21000TB的数据量
(2)2007年,全球就是280EB也就是约300000000TB的数据量,翻了14000倍
(3)近些年,由于移动互联⽹及物联⽹的出现,各种终端设备的接⼊,各种业务形式的普及,平均每40个⽉,全球的数据量就会翻倍!2012年,每天会产⽣2.5EB的数据量
(4)基于IDC的报告预测,从2013年到2020年,全球数据量会从4.4ZB猛增到44ZB!⽽到了2025年,全球会有163ZB的数据量!
全球的数据量已经⼤到爆了!⽽传统的关系型数据库根本处理不了如此海量的数据!
⾼速
在⼤数据时代,数据的创建、存储、分析都要求被⾼速处理,⽐如电商⽹站的个性化推荐尽可能要
求实时完成推荐,这也是⼤数据区别于传统数据挖掘的显著特征。
多样
数据形式和来源多样化。包括结构化、半结构化和⾮结构化数据,具体表现为⽹络⽇志、⾳频、视
频、图⽚、地理位置信息等等,多类型的数据对数据的处理能⼒提出了更⾼的要求。
真实
确保数据的真实性,才能保证数据分析的正确性
低价值
数据价值密度相对较低,或者说是浪⾥淘沙却⼜弥⾜珍贵。互联⽹发展催⽣了⼤量数据,信息海
量,但价值密度较低,如何结合业务逻辑并通过强⼤的机器算法来挖掘数据价值,是⼤数据时代最
需要解决的问题,也是⼀个有难度的课题。
第 3 节 ⼤数据的应⽤场景
随着⼤数据的发展,⼤数据技术已经⼴泛应⽤在众多⾏业,⽐如仓储物流、电商零售、汽⻋、电信、⽣物医学、⼈⼯智能、智慧城市等等领域,包括在疫情防控战中,⼤数据技术也发挥了重要的作⽤。
仓储物流
⼤数据技术驱动了仓储物流领域的智能化发展,以苏宁为例,苏宁物流可在全国的各级仓库间实现智能分仓、就近备货和预测式调拨,实现”客户需要的商品就在离客户最近的配送中⼼“。
电商零售
零售业 ” 啤酒+纸尿裤 “ 案例
个性推荐
” 双11购物节 “ 实时销售额⼤屏
汽⻋
利⽤了⼤数据和物联⽹技术的⽆⼈驾驶汽⻋,在不远的未来将⾛⼊我们的⽇常
电信
移动联通根据⽤户年龄、职业、消费情况,分析统计哪种套餐适合哪类⼈群,对市场⼈群精准定位
⽣物医学
⼤数据可以帮助我们实现流⾏病预测、智慧医疗、健康管理,同时还可以帮助我们解读DNA,了解更多的⽣命奥秘。⽐如影像⼤数据⽀撑下的早期肺癌⽀撑平台,基于⼤量病例数据样本,制定早期肺癌⾼危⼈群预警指
⼈⼯智能
智慧城市
⼤数据有效⽀撑智慧城市发展,成为城市的”数据⼤脑“。⽐如,在智慧城市建设上,杭州始终⾛在全国前列。如覆盖⾯⼴的移动⽀付、新颖的在线医疗模式、创新的物流运输模式,都受到较⼤关注。2016年,杭州被《中国新型智慧城市》⽩⽪书评为“中国最智慧的城市”。
⼤数据的价值,远远不⽌于此,⼤数据对各⾏各业的渗透,⼤⼤推动了社会⽣产和⽣活,未来必将产⽣重⼤⽽深远的影响。
第 4 节 ⼤数据的发展趋势及职业路线
4.1 ⼤数据发展趋势
1)2015年党的⼗⼋届五中全会提出“实施国家⼤数据战略”,国务院印发《促进⼤数据发展⾏动纲要》,⼤数据技术和应⽤处于创新突破期,国内市场需求处于爆发期,我国⼤数据产业⾯临重要的发展机遇。
2)2017年⼗九⼤报告明确 "推动互联⽹、⼤数据、⼈⼯智能和实体经济深度融合"。
3)2020年全国政协⼗三届三次会议新闻发布会上,更进⼀步强调:⼤数据、⼈⼯智能、5G是引领未来发展的战略性技术。
显然,发展⼤数据是我国的战略性决策,前景⾃然不⾔⽽喻。
另外
4)2017年北京⼤学、中国⼈⺠⼤学、北京邮电⼤学等25所⾼校成功申请开设⼤数据课程
5)⼤数据属于⾼新技术,⼤⽜少,升职竞争⼩
6)2020年5⽉6⽇,⼈⼒资源和社会保障部发布《新职业—⼤数据⼯程技术⼈员就业景⽓现状分析报告》,报告显示:预计2020年中国⼤数据⾏业⼈才需求规模将达210万,2025年前⼤数据⼈才需求仍将保持30%~40%的增速,需求总量在2000万⼈左右
7)在北京⼤数据开发⼯程师的平均薪⽔已经超越 1.5w 直逼2w,⽽且⽬前还保持强劲的发展势头4.2 ⼤数据职业发展路⽬前⼤数据⾼、中、低三个档次的⼈才都很缺。 现在我们谈⼤数据,就像当年谈电商⼀样,未来前景已经很明确,接下来就是优胜劣汰,竞争上岗。不想当架构师的程序员不是好架构师!但是,⼤数据发展到现阶段,涉及⼤数据相关的职业岗位也越来越精细。从职业发展来看,由⼤数据开发、挖掘、算法、到架构。从级别来看,从⼯程师、⾼级⼯程师,再到架构师,甚⾄到科学家。⽽且,契合不同的⾏业领域,⼜有专属于这些⾏业的岗位衍⽣,如涉及⾦融领域的数据分析师等。⼤数据的相关⼯作岗位有很多,有数据分析师、数据挖掘⼯程师、⼤数据开发⼯程师、⼤数据产品经理、可视化⼯程师、爬⾍⼯程师、⼤数据运营经理、⼤数据架构师、数据科学家等等。
从事岗位:ETL⼯程师,数据仓库⼯程师,实时流处理⼯程师,⽤户画像⼯程师,数据挖掘,算法⼯程师,推荐系统⼯程。
第⼆部分 Hadoop简介
第 1 节 什么是Hadoop
Hadoop 是⼀个适合⼤数据的分布式存储和计算平台。
如前所述,ሀ义上说Hadoop就是⼀个框架平台,⼴义上讲Hadoop代表⼤数据的⼀个技术⽣态圈,包括很多其他软件框架
第 2 节 Hadoop的起源
Hadoop 的发展历程可以⽤如下过程概述:
Nutch —> Google论⽂(GFS、MapReduce)—> Hadoop产⽣—> 成为Apache顶级项⽬
—> Cloudera公司成⽴(Hadoop快速发展)
Hadoop最早起源于Nutch,Nutch 的创始⼈是Doug Cutting
Nutch 是⼀个开源 Java 实现的搜索引擎。它提供了我们运⾏⾃⼰的搜索引擎所需的全部⼯具。包括全⽂搜索和Web爬⾍,但随着抓取⽹⻚数量的增加,遇到了严重的可扩展性问题——如何解决数⼗亿⽹⻚的存储和索引问题
2003年、2004年⾕歌发表的两篇论⽂为该问题提供了可⾏的解决⽅案。GFS,可⽤于处理海量⽹⻚的存储;MapReduce,可⽤于处理海量⽹⻚的索引计算问题。
Google的三篇论⽂(三驾⻢⻋)
GFS:Google的分布式⽂件系统(Google File System)
MapReduce:Google的分布式计算框架
BigTable:⼤型分布式数据库
发展演变关系:
GFS —> HDFS
Google MapReduce —> Hadoop MapReduce
BigTable —> HBase
随后,Google公布了部分GFS和MapReduce思想的细节,Doug Cutting等⼈⽤2年的业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。
2005年,Hadoop 作为Lucene的⼦项⽬Nutch的⼀部分引⼊Apache
2006年,Hadoop从Nutch剥离出独⽴
2008年,Hadoop成为Apache的顶级项⽬
Hadoop这个名字来源于Hadoop之⽗Doug Cutting⼉⼦的⽑绒玩具
第 3 节 Hadoop的特点
第 4 节 Hadoop的发⾏版本
⽬前Hadoop发⾏版⾮常多,有Cloudera发⾏版(CDH)、Hortonworks发⾏版、华为发⾏版、Intel发⾏版等,所有这些发⾏版均是基于Apache Hadoop衍⽣出来的,之所以有这么多的版本,是由Apache Hadoop的开源协议决定的(任何⼈可以对其进⾏修改,并作为开源或商业产品发布/销售)。
企业中主要⽤到的三个版本分别是:
Apache Hadoop版本(最原始的,所有发⾏版均基于这个版本进⾏改进)、
Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”)、
Hortonworks版本(Hortonworks Data Platform,简称“HDP”)。
Apache Hadoop 原始版本
官⽹地址:http://hadoop.apache.org/
优点:拥有全世界的开源贡献,代码更新版本⽐较快
缺点:版本的升级,版本的维护,以及版本之间的兼容性,学习⾮常⽅便
Apache所有软件的下载地址(包括各种历史版本):http://archive.apache.org/dist/
软件收费版本ClouderaManager CDH版本 --⽣产环境使⽤
官⽹地址:https://www.cloudera.com/
Cloudera主要是美国⼀家⼤数据公司在Apache开源Hadoop的版本上,通过⾃⼰公司内部的各种补丁,实现版本之间的稳定运⾏,⼤数据⽣态圈的各个版本的软件都提供了对应的版本,解决了版本的升级困难,版本兼容性等各种问题,⽣产环境强烈推荐使⽤
免费开源版本HortonWorks HDP版本--⽣产环境使⽤
官⽹地址:https://hortonworks.com/ hortonworks主要是雅⻁主导Hadoop开发的副总裁,带领⼆⼗⼏个核⼼成员成⽴Hortonworks,核⼼产品软件HDP(ambari),HDF免费开源,并且提供⼀整套的web管理界⾯,供我们可以通过web界⾯管理我们的集群状态,web管理界⾯软件HDF⽹址(http://ambari.apache.org/)
第 5 节 Apache Hadoop版本更迭
0.x 系列版本:Hadoop当中最早的⼀个开源版本,在此基础上演变⽽来的1.x以及2.x的版本
1.x 版本系列:Hadoop版本当中的第⼆代开源版本,主要修复0.x版本的⼀些bug等
2.x 版本系列:架构产⽣重⼤变化,引⼊了yarn平台等许多新特性
3.x 版本系列:EC技术、YARN的时间轴服务等新
第 6 节 Hadoop的优缺点
Hadoop的优点
Hadoop具有存储和处理数据能⼒的⾼可靠性。
Hadoop通过可⽤的计算机集群分配数据,完成存储和计算任务,这些集群可以⽅便地扩展到数以千计的节点中,具有⾼扩展性。
Hadoop能够在节点之间进⾏动态地移动数据,并保证各个节点的动态平衡,处理速度⾮常快,具有⾼效性。
Hadoop能够⾃动保存数据的多个副本,并且能够⾃动将失败的任务重新分配,具有⾼容错性。
Hadoop的缺点
Hadoop不适⽤于低延迟数据访问。
Hadoop不能⾼效存储⼤量⼩⽂件。
Hadoop不⽀持多⽤户写⼊并任意修改⽂件。
第三部分 Apache Hadoop的重要组成
Hadoop=HDFS(分布式⽂件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块
1. Hadoop HDFS:(Hadoop Distribute File System )
⼀个⾼可靠、⾼吞吐量的分布式⽂件系统
⽐如:100T数据存储,
“分⽽治之”
分:拆分--》数据切割,100T数据拆分为10G⼀个数据块由⼀个电脑节点存储这个数据块。数据切割、制作副本、分散储存
图中涉及到⼏个⻆⾊
NameNode(nn):存储⽂件的元数据,⽐如⽂件名、⽂件⽬录结构、⽂件属性(⽣成时间、副本数、⽂件权限),以及每个⽂件的块列表和块所在的DataNode等。
SecondaryNameNode(2nn):辅助NameNode更好的⼯作,⽤来监控HDFS状态的辅助后台程序,每隔⼀段时间获取HDFS元数据快照。
DataNode(dn):在本地⽂件系统存储⽂件块数据,以及块数据的校验
注意:NN,2NN,DN这些既是⻆⾊名称,进程名称,代指电脑节点名称!!
2. Hadoop MapReduce:
⼀个分布式的离线并⾏计算框架
拆解任务、分散处理、汇整结果
MapReduce计算 = Map阶段 + Reduce阶段
Map阶段就是“分”的阶段,并⾏处理输⼊数据;
Reduce阶段就是“合”的阶段,对Map阶段结果进⾏汇总
3. Hadoop YARN:
作业调度与集群资源管理的框架
计算资源协调
Yarn中有如下⼏个主要⻆⾊,同样,既是⻆⾊名、也是进程名,也指代所在计算机节点名称。
ResourceManager(rm):处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度;
NodeManager(nm):单个节点上的资源管理、处理来⾃ResourceManager的命令、处理来⾃ApplicationMaster的命令;
ApplicationMaster(am):数据切分、为应⽤程序申请资源,并分配给内部任务、任务监控与容错。
Container:对任务运⾏环境的抽象,封装了CPU、内存等多维资源以及环境变量、启动命令等任务运⾏相关的信息。
ResourceManager是⽼⼤,NodeManager是⼩弟,ApplicationMaster是计算任务专员
4. Hadoop Common:
⽀持其他模块的⼯具模块(Configuration、RPC、序列化机制、⽇志操作)
第四部分 Apache Hadoop 完全分布式集群搭
搭建软件和操作系统版本
Hadoop框架是采⽤Java语⾔编写,需要java环境(jvm)
JDK版本:JDK8版本
集群:
知识点学习:统⼀使⽤vmware虚拟机虚拟三台linux节点,linux操作系统:Centos7
项⽬阶段:统⼀使⽤云服务器,5台云服务器节点
Hadoop搭建⽅式
单机模式:单节点模式,⾮集群,⽣产不会使⽤这种⽅式
单机伪分布式模式:单节点,多线程模拟集群的效果,⽣产不会使⽤这种⽅式
完全分布式模式:多台节点,真正的分布式Hadoop集群的搭建(⽣产环境建议使⽤这种⽅式)
第 1 节 虚拟机环境准备
1. 三台虚拟机(静态IP,关闭防⽕墙,修改主机名,配置免密登录,集群时间同步)
2. 在/opt⽬录下创建⽂件夹
mkdir -p /opt/lagou/software --软件安装包存放⽬录
mkdir -p /opt/lagou/servers --软件安装⽬录
3. Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/
Hadoop官⽹地址:http://hadoop.apache.org
4. 上传hadoop安装⽂件到 /opt/lagou/software
第 2 节 集群规划
第 3 节 安装Hadoop
- 登录linux121节点;进⼊/opt/lagou/software,解压安装⽂件到/opt/lagou/servers
tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers
- 查看是否解压成功
ll /opt/lagou/servers/hadoop-2.9.2
- 添加Hadoop到环境变量 vim /etc/profile
##HADOOP_HOME
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
- 使环境变量⽣效
source /etc/profile
- 验证hadoop
hadoop version
- 校验结果:
- hadoop⽬录
drwxr-xr-x. 2 root root 194 Nov 13 2018 bin
drwxr-xr-x. 3 root root 20 Nov 13 2018 etc
drwxr-xr-x. 2 root root 106 Nov 13 2018 include
drwxr-xr-x. 3 root root 20 Nov 13 2018 lib
drwxr-xr-x. 2 root root 239 Nov 13 2018 libexec
-rw-r--r--. 1 root root 106210 Nov 13 2018 LICENSE.txt
-rw-r--r--. 1 root root 15917 Nov 13 2018 NOTICE.txt
-rw-r--r--. 1 root root 1366 Nov 13 2018 README.txt
drwxr-xr-x. 3 root root 4096 Nov 13 2018 sbindrwxr-xr-x. 4 root root 31 Nov 13 2018 share
1. bin⽬录:对Hadoop进⾏操作的相关命令,如hadoop,hdfs等
2. etc⽬录:Hadoop的配置⽂件⽬录,⼊hdfs-site.xml,core-site.xml等
3. lib⽬录:Hadoop本地库(解压缩的依赖)
4. sbin⽬录:存放的是Hadoop集群启动停⽌相关脚本,命令
5. share⽬录:Hadoop的⼀些jar,官⽅案例jar,⽂档等
3.1 集群配置
Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置
HDFS集群配置
1. 将JDK路径明确配置给HDFS(修改hadoop-env.sh)
2. 指定NameNode节点以及数据存储⽬录(修改core-site.xml)
3. 指定SecondaryNameNode节点(修改hdfs-site.xml)
4. 指定DataNode从节点(修改etc/hadoop/slaves⽂件,每个节点配置信息占⼀⾏)
MapReduce集群配置
1. 将JDK路径明确配置给MapReduce(修改mapred-env.sh)
2. 指定MapReduce计算框架运⾏Yarn资源调度框架(修改mapred-site.xml)
Yarn集群配置
1. 将JDK路径明确配置给Yarn(修改yarn-env.sh)
2. 指定ResourceManager⽼⼤节点所在计算机节点(修改yarn-site.xml)
3. 指定NodeManager节点(会通过slaves⽂件内容确定)
集群配置具体步骤:
HDFS集群配置
cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop
配置:hadoop-env.sh
将JDK路径明确配置给HDFS
vim hadoop-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
指定NameNode节点以及数据存储⽬录(修改core-site.xml)
vim core-site.xml
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://linux121:9000</value> </property> <!-- 指定Hadoop运⾏时产⽣⽂件的存储⽬录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value> </property>
core-site.xml的默认配置:
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core-default.xml
指定secondarynamenode节点(修改hdfs-site.xml)
vim hdfs-site.xml
<!-- 指定Hadoop辅助名称节点主机配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>linux123:50090</value> </property> <!--副本数量 --> <property> <name>dfs.replication</name> <value>3</value> </property>
官⽅默认配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/hdfs-default.x
指定datanode从节点(修改slaves⽂件,每个节点配置信息占⼀⾏)
vim slaves
linux121
linux122
linux123
注意:该⽂件中添加的内容结尾不允许有空格,⽂件中不允许有空⾏。
MapReduce集群配置
指定MapReduce使⽤的jdk路径(修改mapred-env.sh)
vim mapred-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
指定MapReduce计算框架运⾏Yarn资源调度框架(修改mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml<!-- 指定MR运⾏在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
mapred-site.xml默认配置
Yarn集群配置
指定JDK路径
vim yarn-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
指定ResourceMnager的master节点信息(修改yarn-site.xml)
vim yarn-site.xml
<!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>linux123</value> </property> <!-- Reducer获取数据的⽅式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
yarn-site.xml的默认配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
指定NodeManager节点(slaves⽂件已修改, 这里就不用修改)
注意:
Hadoop安装⽬录所属⽤户和所属⽤户组信息,默认是501 dialout,⽽我们操作Hadoop集群的⽤户使⽤的是虚拟机的root⽤户,
所以为了避免出现信息混乱,修改Hadoop安装⽬录所属⽤户和⽤户组!!
chown -R root:root /opt/lagou/servers/hadoop-2.9.2
3.2 分发配置
编写集群分发脚本rsync-script
rsync 远程同步⼯具
rsync主要⽤于备份和镜像。具有速度快、避免复制相同内容和⽀持符号链接的优点。
rsync和scp区别:⽤rsync做⽂件的复制要⽐scp的速度快,rsync只对差异⽂件做更新。scp是把所有⽂件都复制过去。
1. 基本语法
rsync -rvl $pdir/$fname $user@$host:$pdir/$fname
命令 选项参数 要拷⻉的⽂件路径/名称 ⽬的⽤户@主机:⽬的路径/名称
2. 选项参数说明
表2-2
rsync案例
1. 三台虚拟机安装rsync (执⾏安装需要保证机器联⽹)
[root@linux121 ~]# yum install -y rsync
2.把linux121机器上的/opt/lagou/software⽬录同步到linux122服务器的root⽤户下的/opt/⽬录
[root@linux121 opt]$ rsync -rvl /opt/lagou/software/root@linux122:/opt/lagou/software
集群分发脚本编写
1. 需求:循环复制⽂件到集群所有节点的相同⽬录下
rsync命令原始拷⻉:
rsync -rvl /opt/module root@linux123:/opt/
2. 期望脚本
脚本+要同步的⽂件名称
3. 说明:在/usr/local/bin这个⽬录下存放的脚本,root⽤户可以在系统任何地⽅直接执⾏。
4. 脚本实现
1)在/usr/local/bin⽬录下创建⽂件rsync-script,⽂件内容如下:
[root@linux121 bin]$ touch rsync-script
[root@linux121 bin]$ vim rsync-script
在⽂件中编写shell代码
#!/bin/bash
# 需求: 循环复制文件到集群所有节点的相同目录下
# 使用方式: 脚本+需要复制的文件名称
#
#脚本编写步骤:
# 1, 获取传入脚本的参数, 参数个数
paramnum=$#
if((paramnum==0))
then
echo no args;
exit;
fi
# 2, 获取文件名称
p1=$1
file_name=`basename $p1` #basename 获取最后一级文件/夹名
echo fname=${file_name}
# 3, 获取文件绝对路径, 获取文件目录信息
dir_name=`cd -P $(dirname $p1);pwd`
# 下面的可能会获取相对路径, 无效
#dir_name=`dirname $p1` # dirname 获取最后一级之前的路径名
echo dirname=${dir_name}
# 4, 获取到当前用户信息
user=`whoami`
# 5, 执行 rsync命令 循环执行, 把数据发送到集群中所有的其他节点上
for((host=121;host<124;host++));
do
echo --------------target hostname=linux$host----------------
rsync -rvl ${dir_name}/${file_name} ${user}@linux${host}:${dir_name}
done
2)修改脚本 rsync-script 具有执⾏权限
[root@linux121 bin]$ chmod 777 rsync-script
3)调⽤脚本形式:rsync-script ⽂件名称
[root@linux121 bin]$ rsync-script rsync-script
4) 调⽤脚本分发Hadoop安装⽬录到其它节点
[root@linux121 bin]$ rsync-script /opt/lagou/servers/hadoop-2.9.2
shell脚本的编写不要求掌握,看到别⼈编写的脚本要能读懂!!
如果出现下面的错误
./rsync-script: /bin/bash^M: bad interpreter: No such file or directory
一般是由于Windows和Linux环境下的编码方式不同 使用vim 打开任意文件, 在 :命令行中输入 : set ff? 查看编码方式
如果是 dos 方式, 则修改成 : set ff=unix
第 4 节 启动集群
注意:如果集群是第⼀次启动,需要在Namenode所在节点格式化NameNode,⾮第⼀次不⽤执⾏格式化Namenode操作!!
4.1 单节点启动
[root@linux121 hadoop-2.9.2]$ hadoop namenode -format
格式化命令执⾏效果:
格式化后创建的⽂件:/opt/lagou/servers/hadoop-2.9.2/data/tmp/dfs/name/current
1. 在linux121上启动NameNode
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode
[root@linux121 hadoop-2.9.2]$ jps
2. 在linux121、linux122以及linux123上分别启动DataNode
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux121 hadoop-2.9.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[root@linux122 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux122 hadoop-2.9.2]$ jps
3190 DataNode
3279 Jps
[root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux123 hadoop-2.9.2]$ jps
3237 Jps
3163 DataNode
3. web端查看Hdfs界⾯
查看HDFS集群正常节点:
1. Yarn集群单节点启动
[root@linux123 servers]# yarn-daemon.sh start resourcemanager
[root@linux123 servers]# jps
7881 ResourceManager
8094 Jps
[root@linux122 servers]# yarn-daemon.sh start nodemanager[root@linux122 servers]# jps
8166 NodeManager
8223 Jps
[root@linux121 servers]# yarn-daemon.sh start nodemanager
[root@linux121 servers]# jps
8166 NodeManager
8223 Jps
2. 思考:Hadoop集群每次需要⼀个⼀个节点的启动,如果节点数增加到成千上万个怎么办?
4.2 集群群起
1. 如果已经单节点⽅式启动了Hadoop,可以先停⽌之前的启动的Namenode与Datanode进程,如果之前Namenode没有执⾏格式化,这⾥需要执⾏格式化!!!!
hadoop namenode -format
2. 启动HDFS
[root@linux121 hadoop-2.9.2]$ sbin/start-dfs.sh
[root@linux121 hadoop-2.9.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[root@linux122 hadoop-2.9.2]$ jps
3218 DataNode
3288 Jps
[root@linux123 hadoop-2.9.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
3. 启动YARN
[root@linux122 hadoop-2.9.2]$ sbin/start-yarn.sh
注意:NameNode和ResourceManger不是在同⼀台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。
4.3 Hadoop集群启动停⽌命令汇总
1. 各个服务组件逐⼀启动/停⽌
(1)分别启动/停⽌HDFS组件
hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
(2)启动/停⽌YARN
yarn-daemon.sh start / stop resourcemanager / nodemanager
2. 各个模块分开启动/停⽌(配置ssh是前提)常⽤
(1)整体启动/停⽌HDFS
start-dfs.sh / stop-dfs.sh
(2)整体启动/停⽌YARN
start-yarn.sh / stop-yarn.sh
第 5 节 集群测试
1. HDFS 分布式存储初体验
从linux本地⽂件系统上传下载⽂件验证HDFS集群⼯作正常
hdfs dfs -mkdir -p /test/input
#本地hoome⽬录创建⼀个⽂件
cd /rootvim test.txt
hello hdfs
#上传linxu⽂件到Hdfs
hdfs dfs -put /root/test.txt /test/input#从Hdfs下载⽂件到linux本地
hdfs dfs -get /test/input/test.txt
2. MapReduce 分布式计算初体验
在HDFS⽂件系统根⽬录下⾯创建⼀个wcinput⽂件夹
[root@linux121 hadoop-2.9.2]$ hdfs dfs -mkdir /wcinput
在/root/⽬录下创建⼀个wc.txt⽂件(本地⽂件系统)
[root@linux121 hadoop-2.9.2]$ cd /root/
[root@linux121 wcinput]$ touch wc.txt
编辑wc.txt⽂件
[root@linux121 wcinput]$ vi wc.txt
在⽂件中输⼊如下内容
hadoop mapreduce yarn
hdfs hadoop mapreduce
mapreduce yarn lagou
lagou
lagou
保存退出
: wq!
上传wc.txt到Hdfs⽬录/wcinput下
hdfs dfs -put wc.txt /wcinput
回到Hadoop⽬录/opt/lagou/servers/hadoop-2.9.2
执⾏程序
[root@linux121 hadoop-2.9.2]$ hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput/wcoutput
查看结果
[root@linux121 hadoop-2.9.2]$ hdfs dfs -cat /wcoutput/part-r-00000
hadoop 2
hdfs 1
lagou 3
mapreduce 3
yarn 2
第 6 节 配置历史服务器
在Yarn中运⾏的任务产⽣的⽇志数据不能查看,为了查看程序的历史运⾏情况,需要配置⼀下历史⽇志服务器。具体配置步骤如下:
1. 配置mapred-site.xml
[root@linux121 hadoop]$ vi mapred-site.xml
在该⽂件⾥⾯增加如下配置。
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>linux121:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>linux121:19888</value>
</property>
2. 分发mapred-site.xml到其它节点
rsync-script mapred-site.xml
3. 启动历史服务器
[root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
4. 查看历史服务器是否启动
[root@linux121 hadoop-2.9.2]$ jps
5. 查看JobHistory
6.1 配置⽇志的聚集
⽇志聚集:应⽤(Job)运⾏完成以后,将应⽤运⾏⽇志信息从各个task汇总上传到HDFS系统上。
⽇志聚集功能好处:可以⽅便的查看到程序运⾏详情,⽅便开发调试。
注意:开启⽇志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启⽇志聚集功能具体步骤如下:
1. 配置yarn-site.xml
[root@linux121 hadoop]$ vi yarn-site.xml
在该⽂件⾥⾯增加如下配置。
<!-- ⽇志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- ⽇志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2. 分发yarn-site.xml到集群其它节点
rsync-script yarn-site.xml
3. 关闭NodeManager 、ResourceManager和HistoryManager
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop resourcemanage
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop nodemanage
[root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
4. 启动NodeManager 、ResourceManager和HistoryManager
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh start resourcemanage
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh start nodemanage
[root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh start historyserv
5. 删除HDFS上已经存在的输出⽂件
[root@linux121 hadoop-2.9.2]$ bin/hdfs dfs -rm -R /wcoutpu
6. 执⾏WordCount程序
[root@linux121 hadoop-2.9.2]$ hadoop jar share/hadoop/mapreduce/hadoopmapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutp
7. 查看⽇志,如图所示
http://linux121:19888/jobhistory