文章作者邮箱：[email protected] 地址：广东惠州
▲ 本章节目的
⚪ 了解YARN的概念和结构；
⚪ 掌握YARN的资源调度流程；
⚪ 了解Hadoop支持的资源调度器：FIFO、Capacity、Fair；
⚪ 掌握YARN的完全分布式结构和常见问题；
⚪ 掌握YARN的服役新节点操作；
一、简介
1. 概述
1. Another Resource Negotiator - 迄今另一个资源调度器) - 负责任务管理和资源调度。
2. YARN是Hadoop2.X开始出现的，也是Hadoop2.X中最重要的特性之一。也正是因为YARN的出现，导致Hadoop1.X和Hadoop2.X不兼容。
3. 产生原因：
a. 内部原因：
Ⅰ. 在Hadoop1.X中，没有YARN的说法，此时MapReduce分为主进程JobTracker和从进程TaskTracker。JobTracker只允许存在1个，容易出现单点故障。
Ⅱ. JobTracker负责对外接收任务，接收到任务之后需要将任务拆分成子任务(MapTask和ReduceTask)。JobTracker拆分完任务之后，将子任务分配给从进程TaskTracker。JobTracker会监控每一个TaskTracker的执行情况。在官方文档中，每一个JobTracker最多能够管理4000个TaskTracker。如果TaskTracker数量过多，导致JobTracker的效率成别下降，甚至于导致JobTracker的崩溃。
b. 外部原因：
Ⅰ. Hadoop产生的时候，市面上并没有太多的大数据框架，因此Hadoop在刚开始涉及的时候，只考虑MapReduce的资源调度问题。
Ⅱ. 后来随着大数据的发展，产生了越来越多的计算框架，很大一部分的框架都是围绕着Hadoop使用，因为Hadoop没有考虑其他框架的资源调度问题，所以这些计算框架就产生了资源调度冲突。
4. YARN的结构：
a. 主进程ResourceManager：
Ⅰ. 负责对外接收请求
Ⅱ. 负责管理NodeManager
Ⅲ. 负责管理ApplicationMaster
b. 从进程NodeManager：
Ⅰ. 执行任务。
Ⅱ. 负责管理本节点上的资源。
c. 辅助进程ApplicationMaster：负责管理具体的子任务。
2. 流程
1. 当ResourceManager收到客户端提交的任务之后，会先将这个任务临时存储下来，等待NodeManager的心跳。
2. 当ResourceManager收到NodeManager的心跳之后，会在心跳响应中将Job任务返回给NodeManager。
3. NodeManager通过心跳响应之后