object Spark12_RDD_Operator_Transform1 {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
val sc = new SparkContext(sparkConf)
// TODO 算子 - sortBy
val rdd = sc.makeRDD(List(("1", 1), ("11", 2), ("2", 3)), 2)
// sortBy方法可以根据指定的规则对数据源中的数据进行排序,默认为升序,第二个参数可以改变排序的方式
// sortBy默认情况下,不会改变分区。但是中间存在shuffle操作
val newRDD = rdd.sortBy(t=>t._1.toInt, false) //默认为升序,但是你加上一个false会变成降序排列
newRDD.collect().foreach(println)
sc.stop()
}
}
TODO算子-双Value类型的操作
猜你喜欢
转载自blog.csdn.net/qq_44104303/article/details/115208458
今日推荐
周排行