【YARN】框架学习

学习了两天,对整体框架、运行机制、组件的功能和关系有了大概了解(框架图和机制图手绘在笔记本上)。详细的通信过程通读了一遍,很细碎繁琐,一时间很难记住,日后有需要再做补充。

时间不宽裕,在此不进行完整记录阐述,仅记录部分要点。

参考文章《hadoop之yarn详解》 https://www.cnblogs.com/zsql/p/11648894.html

本文仅作博主学习记录使用

在这里插入图片描述

每个应用程序有一个ApplicationMaster,每个任务对应一个container.

ApplicationMaster监控应用程序,ResourceManager与应用程序交互主要就是与ApplicationMaster交互

Container是Yarn框架的计算单元,是具体执行应用task(如map task、reduce task)的基本单位。Container和集群节点的关系是:一个节点会运行多个Container,但一个Container不会跨节点

在ApplicationMaster请求资源的过程中,ApplicationMaster负责计算应用程序的资源需求,并把它们转换为调度器能够理解的ResourceRequest对象

猜你喜欢

转载自blog.csdn.net/weixin_38776330/article/details/107660484