Spark2.0.2源码分析——CoarseGrainedExecutorBackend的启动

上文Spark2.0.2源码分析——Executor 的启动:上篇文章介绍了,executor 的启动,文章最后调用 fetchAndRunExecutor 方法,创建 ProcessBuilder ,用于执行命令启动 CoarseGrainedExecutorBackend,执行命令,调用 CoarseGrainedExecutorBackendmain 方法,启动 CoarseGrainedExecutorBackend 进程,该进程为 Executor 的守护进程,用于 executor 的创建和维护,今天这篇文章来看一下 CoarseGrainedExecutorBackend 的启动。

一.CoarseGrainedExecutorBackend#main:

在这里插入图片描述
while (!argv.isEmpty) 时进行模式匹配并拼装参数,然后将拼装好的参数交给 run 方法:
在这里插入图片描述

二.CoarseGrainedExecutorBackend#run:

在这里插入图片描述
askWithRetry 具有请求并响应的特点。
将之前抓取到的信息添加到 driverConf 中:
在这里插入图片描述
在这里插入图片描述
这里会触发 CoarseGrainedExecutorBackendonStart 方法,因为任何 inbox 初始化时都会执行 onStart,详细解释请看Spark2.0.2源码分析——RPC 通信机制(消息处理)

这个 WorkerWatcher 也是 RpcEndPoint 的子类

onStart:
在这里插入图片描述
CoarseGrainedSchedulerBackend#receiveAndReply:
在这里插入图片描述
在这里插入图片描述

三.CoarseGrainedExecutorBackend#receive:

回到 CoarseGrainedExecutorBackend 端,在接收到 RegisteredExecutor 消息后,创建 executor 对象,创建完毕的 Executord 对象,用于之后执行 Driver 分配 Task
在这里插入图片描述

参考:Spark源码阅读:CoarseGrainedExecutorBackend的启动

猜你喜欢

转载自blog.csdn.net/qq_39327985/article/details/88426216