SparkSubmit命令执行过程
- 通过反射机制把SparkSubmit对象构造出来,自动去执行submit函数
- submit: 函数内部执行prepareSubmitEnvironment,准备提交环境,和doRunMain方法
- prepareSubmitEnvironment: 创建运行app执行所需的环境
- doRunMain:
a. 新建一个类加载器
b. 获取自己包中的主类和main方法
c. 执行main方法
- 在main方法中,初始化SparkContext对象
a. 初始化spark执行环境
b. 创建TaskScheduer
c. 创建DAGScheduler
d. 启动TaskScheduer
- 启动TaskScheduer
a. - 等等