版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Suubyy/article/details/81487473
Spark Worker
启动Driver
和Executor
原理
Worker
启动Driver
的一个基本原理就是Worker内部会创建一个DriverRunner
,然后DriverRunner
会启动一个线程,然后创建Driver
的工作目录,然后在封装Driver
启动命令,用ProcessBuilder
启动Driver
进程。Worker
启动Exector
的一个基本原理就是Worker
内部会创建一个ExecutorRunner
,然后ExecutorRunner
会启动一个线程,然后创建Executor
工作目录,然后封装启动Executor
命令,用ProcessBuilder
启动Executor
进程。Driver
启动之后,Executor
启动以后会向Driver
进行注册
Spark Worker
启动Driver
和Executor
原理图
Spark Worker
启动Driver
和Executor
源码- 启动
Driver
- 启动
Executor
:跟启动Driver
的流程非常相似,这里就不阐述了。
- 启动