Spark任务拆分-并发问题

现有的结构是Spark从HBase中提取数据,进行计算操作。

Spark的并发是由:

可用CPU核数*Worker数量,来确定上限的,这种情况针对于单节点。

并发数还受到RDD的分区数量影响的,说回Hbase的话,就是受到Region数影响,基本与其一致;

所以如果在HbaseConf中确定的Region数量只有1个的话,那么会出现Spark单线程执行的情况;

这个时候可以考虑使用coalesce方法来进行分区动作,但是这个方法需要注意的是,如果当前的分区数小于你期望的分区,单纯的使用coalesce加分区数的方法并没有什么用,需要强制进行shuffle动作。

coalesce(numPart,true)

此方式可有效进行分区动作,但是意味着大量的shuffle动作;

其实我理解可以Spark生成任务时,在外部进行任务拆分,例如按天,或者按年等;相较于在内部进行分区动作,可能不会出现shuffle的情况。

但是,如果你单个节点的并发数并不是很高的情况下,那么任务被派发到其它节点执行,而数据还是需要从另外节点来获取,其实跟shuffle的动作相差并不是太大,这个可以自行考虑;

 分区的数量可以设定为集群任务的最高值。

以上仅为个人浅见,欢迎大家讨论。

猜你喜欢

转载自primernd.iteye.com/blog/2294674