一、当master在接收到RegisterApplication消息后会向worker发送LaunchDriver和LaunchExecutor消息来分别启动Driver和Executor。实际上这里启动Executor是指的启动CoarseGrainedExecutorBackend进程,而Executor只是CoarseGrainedExecutorBackend的内部的对象。
二、实际上Driver(例:StandaloneSchedulerBackend)内部包含两个通信实体Endpoint:
三、当CoarseGrainedExecutorBackend进程启动后会向CoarseGrainedSchedulerBackend的通信实体DriverEndpoint发送RegisterExecutor消息注册给Driver,Driver会返回一个RegisteredExecutor消息给CoarseGrainedExecutorBackend表明已经注册成功,这里的注册就是指CoarseGrainedSchedulerBackend利用内部成员executorDataMap记录Executor的消息而已。
四、在CoarseGrainedExecutorBackend接收到RegisteredExecutor消息后会创建其内部成员executor
而executor内部有一个后台线程池,用于处理任务task
五、当CoarseGrainedExecutorBackend接收到LaunchTask消息后先反序列化任务封装为taskDesc会调用executor对象的launchTask方法,然后会封装成TaskRunner对象,TaskRunner实现了Runnable接口,在run方法中执行task.run方法,最后调用runTask方法。