版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wuxintdrh/article/details/88217948
3.1、算子的使用
3.1.1、案例
- mapPartitions
- reduceByKeyAndWindow
- Broadcast变量&Accumulators
- repartition和coalesce的用法
- foreachPartition优化写数据库性能
- reduceByKey和groupByKey的区别
- sortByKey被划分到transformation中,却会触发job
- 将
RDD[Array(T)] ==> RDD[T]
,使用flatmMap(_.toList)