spark學習筆記(3)---集合計算

統計個數,集合計算
val lines = List(“hello java hello python”,“hello scala”,“hello scala hello java hello python”)
//切分壓平
val words = lines.flatMap(.split(" "))
//把每個單詞生成一個一個的元組pair
val tuples = words.map((
,1))
//以key進行分組
val grouped = tuples.groupBy(.1)
//統計value的長度
val sumed = grouped.mapValues(
.size)
//排序
val sorted = sumed.toList.sortBy(
._2).reverse
println(sorted)

猜你喜欢

转载自blog.csdn.net/JerryZhang1111/article/details/88821490