本篇作为scala快速入门系列的第十六篇博客，为大家带来的是关于函数式编程的相关内容。
文章目录
函数式编程
我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。
- 遍历（
foreach） - 映射（
map） - 映射扁平化（
flatmap） - 过滤（
filter） - 是否存在（
exists） - 排序（
sorted、sortBy、sortWith） - 分组（
groupBy） - 聚合计算（
reduce） - 折叠（
fold）
遍历|foreach
之前，学习过了使用for表达式来遍历集合。我们接下来将学习scala的函数式编程，使用 foreach 方法来进行遍历、迭代。它可以让代码更加简洁。
方法签名
说明
| foreach | API | 说明 |
|---|---|---|
| 参数 | f: (A) ⇒ Unit | 接收一个函数对象。函数的输入参数为集合的元素，返回值为空 |
| 返回值 | Unit | 空 |
foreach执行过程
示例
有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素
参考代码
使用类型推断简化函数定义
上述案例函数定义有点啰嗦，我们有更简洁的写法。因为使用foreach去迭代列表，而列表中的每个元素类型是确定的。
- scala可以自动来推断出来集合中每个元素参数的类型
- 创建函数时，可以省略其参数列表的类型
示例
- 有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素
- 使用类型推断简化函数定义
参考代码
使用下划线来简化函数定义
当函数参数，只在函数体中出现一次，而且函数体没有嵌套调用时，可以使用下划线来简化函数定义。
示例
- 有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素
- 使用下划线简化函数定义
参考代码
- 如果方法参数是函数，如果出现了下划线，scala编译器会自动将代码封装到一个函数中
- 参数列表也是由scala编译器自动处理
映射|map
集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的掌握。
因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。
map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表。
用法
方法签名
方法解析
| map方法 | API | 说明 |
|---|---|---|
| 泛型 | [B] | 指定map方法最终返回的集合泛型 |
| 参数 | f: (A) ⇒ B | 传入一个函数对象 该函数接收一个类型A（要转换的列表元素），返回值为类型B |
| 返回值 | TraversableOnce[B] | B类型的集合 |
map方法解析
案例一
- 创建一个列表，包含元素1,2,3,4
- 对List中的每一个元素加1
参考代码
案例二
- 创建一个列表，包含元素1,2,3,4
- 使用下划线来定义函数，对List中的每一个元素加1
参考代码
扁平化映射 | flatMap
扁平化映射也是将来用得非常多的操作，也是必须要掌握的。
定义
可以把flatMap，理解为先map，然后再flatten
- map是将列表中的元素转换为一个List
- flatten 再将整个列表进行扁平化
方法签名
方法解析
| flatmap方法 | API | 说明 |
|---|---|---|
| 泛型 | 【B】 | 最终要转换的集合元素类型 |
| 参数 | f: (A) ⇒ GenTraversableOnce[B] | 传入一个函数对象 函数的参数是集合的元素 函数的返回值是一个集合 |
| 返回值 | TraversableOnce[B] | B类型的集合 |
案例
案例说明
- 有一个包含了若干个文本行的列表：“hadoop hive spark flink flume”, “kudu hbase sqoop storm”
- 获取到文本行中的每一个单词，并将每一个单词都放到列表中
思路分析
步骤
- 使用map将文本行拆分成数组
- 再对数组进行扁平化
参考代码
使用flatMap简化操作
参考代码
过滤 | filter
过滤符合一定条件的元素
定义
方法签名
方法解析
| filter方法 | API | 说明 |
|---|---|---|
| 参数 | p: (A) ⇒ Boolean | 传入一个函数对象 接收一个集合类型的参数 返回布尔类型，满足条件返回true, 不满足返回false |
| 返回值 | TraversableOnce[A] | 列表 |
案例
- 有一个数字列表，元素为：1,2,3,4,5,6,7,8,9
- 请过滤出所有的偶数
参考代码
排序
在scala集合中，可以使用以下几种方式来进行排序。
- sorted默认排序
- sortBy指定字段排序
- sortWith自定义排序
默认排序 | sorted
示例
- 定义一个列表，包含以下元素: 3, 1, 2, 9, 7
- 对列表进行升序排序
参考代码
指定字段排序 | sortBy
根据传入的函数转换后，再进行排序。
方法声明
方法解析
示例
- 有一个列表，分别包含几下文本行：“01 hadoop”, “02 flume”, “03 hive”, “04 spark”
- 请按照单词字母进行排序
参考代码
自定义排序 | sortWith
自定义排序，根据一个函数来进行自定义排序。
方法声明
方法解析
| soerWith方法 | API | 说明 |
|---|---|---|
| 参数 | lt: (A, A) ⇒ Boolean | 传入一个比较大小的函数对象 接收两个集合类型的元素参数 返回两个元素大小，小于返回true，大于返回false |
| 返回值 | List[A] | 返回排序后的列表 |
示例
- 有一个列表，包含以下元素：2,3,1,6,4,5
- 使用sortWith对列表进行降序排序
参考代码
使用下划线简写上述案例
参考代码
分组 | groupBy
我们如果要将数据按照分组来进行统计分析，就需要使用到分组方法。
定义
groupBy表示按照函数将列表分成不同的组。
方法签名
方法解析
| groupBy方法 | API | 说明 |
|---|---|---|
| 泛型 | [K] | 分组字段的类型 |
| 参数 | f: (A) ⇒ K | 传入一个函数对象 接收集合元素类型的参数 返回一个K类型的key，这个key会用来进行分组，相同的key放在一组中 |
| 返回值 | Map[K,List[A]] | 返回一个映射，K为分组字段，List为这个分组字段对应的一组数据 |
groupBy执行过程分析
示例
- 有一个列表，包含了学生的姓名和性别:
2.请按照性别进行分组，统计不同性别的学生人数
步骤
- 定义一个元组列表来保存学生姓名和性别
- 按照性别进行分组
- 将分组后的Map转换为列表：List((“男” -> 2), (“女” -> 1))
参考代码
聚合操作
聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中。
聚合 | reduce
reduce表示将列表，传入一个函数进行聚合计算。
定义
方法声明
方法解析
| reduce方法 | API | 说明 |
|---|---|---|
| 泛型 | [A1 >: A] | （下界）A1必须是集合元素类型的子类 |
| 参数 | op: (A1, A1) ⇒ A1 | 传入函数对象，用来不断进行聚合操作 第一个A1类型参数为：当前聚合后的变量 第二个A1类型参数为：当前要进行聚合的元素 |
| 返回值 | A1 | 列表最终聚合为一个元素 |
reduce执行流程分析
[!NOTE]
- reduce和reduceLeft效果一致，表示从左到右计算
- reduceRight表示从右到左计算
案例
- 定义一个列表，包含以下元素：1,2,3,4,5,6,7,8,9,10
- 使用reduce计算所有元素的和
参考代码
折叠 | fold
fold与reduce很像，但是多了一个指定初始化值参数。
定义
方法签名
方法解析
| reduce方法 | API | 说明 |
|---|---|---|
| 泛型 | [A1 >: A] | （下界）A1必须是集合元素类型的子类 |
| 参数1 | z:A1 | 初始值 |
| 参数2 | op: (A1, A1) ⇒ A1 | 传入函数对象，用来不断进行折叠操作 第一个A1类型参数为：当前折叠后的变量 第二个A1类型参数为：当前要进行折叠的元素 |
| 返回值 | A1 | 列表最终折叠为一个元素 |
[!NOTE]
- fold和foldLet效果一致，表示从左往右计算
- foldRight表示从右往左计算
案例
- 定义一个列表，包含以下元素：1,2,3,4,5,6,7,8,9,10
- 使用fold方法计算所有元素的和
参考代码
好了，到这里本次的分享就结束了。对scala感兴趣的朋友可以持续关注哟~
