[8]YARN原理

版权声明:Collected by Bro_Rabbit only for study https://blog.csdn.net/weixin_38240095/article/details/83058280

一、基本原理

YARN不懂运算模型,具有 通用性 ,不管是MapReduce, Spark, Storm 只要有符合规范的AppMaster,YARN就能启动分配与调度机制->底层解耦

YARN
NodeManager执行MapReduce任务细节:
YARNNM


二、运行模式的关键:RunJar进程

  1. 本地模式( 本地JVM For Debug )与集群模式( YARN JVM For Use )
    运行模式与哪个文件系统无关,取决于配置文件:根据配置文件yarn-site.xml, mapred-site.xml初始化,默认情况(没有配置)是LocalRunJar

  2. 如果想直接在eclipse中run main来启动集群运行模式,需要把本工程打包成xxx.jar,在Runner中conf.set(“mapreduce.job.jar”,“xxx.jar”)


三、调用过程

YARNSrc

猜你喜欢

转载自blog.csdn.net/weixin_38240095/article/details/83058280