一、reduce和reduceByKey:
二、:RDD 的算子总结
- RDD 的算子大部分都会生成一些专用的 RDD
-
-
map
,flatMap
,filter
等算子会生成MapPartitionsRDD
-
coalesce
,repartition
等算子会生成CoalescedRDD
-
- 常见的 RDD 有两种类型
-
-
转换型的 RDD, Transformation
-
动作型的 RDD, Action
-
- 常见的 Transformation 类型的 RDD
-
-
map
-
flatMap
-
filter
-
groupBy
-
reduceByKey
-
- 常见的 Action 类型的 RDD
-
-
collect
-
countByKey
-
reduce
-
2.3. RDD 对不同类型数据的支持
目标
-
理解 RDD 对 Key-Value 类型的数据是有专门支持的
-
理解 RDD 对数字类型也有专门的支持
- 一般情况下 RDD 要处理的数据有三类
- RDD 的算子设计对这三类不同的数据分别都有支持
- RDD 对键值对数据的额外支持:
- RDD 对数字型数据的额外支持:
详见代码。