YARN

YARN：Yet Another Resource Negotiator；
Hadoop 2.0新引入的资源管理系统，直接从MRv1演化而来的；
核心思想：将MRv1中JobTracker的资源管理和任务调度两个功能分开，分别由
ResourceManager和ApplicationMaster进程实现
ResourceManager：负责整个集群的资源管理和调度
ApplicationMaster：负责应用程序相关的事务，比如任务调度、任务监控和容错等
YARN的引入，使得多个计算框架可运行在一个集群中
每个应用程序对应一个ApplicationMaster
目前多个计算框架可以运行在YARN上，比如MapReduce、Spark、Storm等

MRv2：On YARN
YARN：解耦资源与计算
ResourceManager
主，核心
集群节点资源管理
NodeManager
与RM汇报资源
管理Container生命周期
计算框架中的角色都以Container表示
Container：【节点NM，CPU,MEM,I/O大小，启动命令】
默认NodeManager启动线程监控Container大小，超出申请资源额度，kill
支持Linux内核的Cgroup
MR ：
MR-ApplicationMaster-Container
作业为单位，避免单点故障，负载到不同的节点
创建Task需要和RM申请资源（Container）
Task-Container
Client：
RM-Client：请求资源创建AM
AM-Client：与AM交互

MapReduce On YARN

MapReduce On YARN：MRv2
将MapReduce作业直接运行在YARN上，而不是由JobTracker和 TaskTracker构建的MRv1系统中基本功能模块
YARN：负责资源管理和调度
MRAppMaster：负责任务切分、任务调度、任务监控和容错等
MapTask/ReduceTask：任务驱动引擎，与MRv1一致
每个MapRduce作业对应一个MRAppMaster
MRAppMaster任务调度
YARN将资源分配给MRAppMaster
MRAppMaster进一步将资源分配给内部的任务
MRAppMaster容错
失败后，由YARN重新启动
任务失败后，MRAppMaster重新申请资源

yarn配置明细
mapred-site.xml配置
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

yarn-site.xml配置
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster1</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node03</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node04</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node02:2181,node03:2181,node04:2181</value>
</property>