行动算子与转换算子的区别
- 行动算子会提交job,触发作业的执行,转换算子是懒加载的,只有调用行动算子后才会真正执行。
reduce
函数签名
说明
- reduce算子会将RDD中的数据做聚合操作,先聚合分区内元素,再聚合分区间元素。
代码示例
val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
val res: Int = rdd.reduce(_+_)
collect
函数签名
说明
- collect算子可以将RDD中的元素以数组的形式收集到Driver端。
代码示例
val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
val ints: Array[Int] = rdd.collect()
println(ints.mkString(","))
count
函数签名
说明
代码示例
val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
println(rdd.count())
first
函数签名
说明
代码示例
println(rdd.first())
take
函数签名
说明
代码实现
println(rdd.take(3).mkString(","))
takeOrdered
函数签名
说明
- 将RDD中的元素排序后取前N个元素组成数组。
- 先排序,再取值。
代码示例
val rdd2: RDD[Int] = sc.makeRDD(List(3, 5, 1, 2, 9, 6))
println(rdd2.takeOrdered(3).mkString(","))
aggregate
函数签名
说明
- aggregate先通过分区内逻辑,聚合初始值和分区内每个元素,再通过分区间逻辑聚合分区间元素和初始值。
- 分区内和分区间,初始值运算方式不同。分区内是每个元素都和初始值做聚合,分区间是整个分区内元素只和初始值聚合一次。
代码示例
val rdd3: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8)
val resRDD: Int = rdd3.aggregate(10)(_ + _, _ + _)
println(resRDD)
fold
函数签名
说明
- fold是分区内和分区间计算逻辑相同的aggregate。
代码示例
val rdd3: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8)
println(rdd3.fold(10)(_ + _))
countByKey
函数签名
说明
代码示例
val rdd4: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (2, "b"), (1, "c"), (2, "a"), (2, "d"), (3, "e")))
println(rdd4.countByKey())
save相关算子
val rdd4: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (2, "b"), (1, "c"), (2, "a"), (2, "d"), (3, "e")))
rdd4.saveAsTextFile("")
rdd4.saveAsObjectFile("")
rdd4.saveAsSequenceFile("")
foreach
函数签名
代码实现
rdd.foreach(println)