-
Executor在集群中分散启动,有利于task计算的数据本地化
-
默认情况下(提交任务的时候没有设置--executor-cores选项),每一个Worker为当前的Application启动一个Executor,这个Executor会使用这个Worker的所有的cores和1G内存
-
如果想在Worker上启动多个Executor,提交Application的时候要加--executor-cores这个选项
-
默认情况下没有设置--total-executor-cores,一个Application会使用Spark集群中所有的cores