版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_36710456/article/details/85626798
要使用Spark,开发者需要编写一个Driver程序,它被提交到集群以调度运行Worker,如下图所示。
1.)Driver中定义了一个或多个RDD,并调用RDD上的action;
2.)Worker则执行RDD分区计算任务。
Master是啥?--- (集群主节点,相对于集群而言的概念)
Worker是啥?--- (集群从节点,相对于集群而言的概念)
Dirver是啥?--- (驱动器节点,相对于程序而言的概念)
Executor是啥?--- (驱动器节点,相对于程序而言的概念)