Flink引擎
Flink概述
什么是大数据
指无法在一定时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。
批计算和流计算的区别
为什么需要流计算
大数据的实时性带来价值更大,eg:实时推荐、数据监控
Flink的特点
Exactly-Once
高吞吐低延迟,实时快速
高容错
流批一体
Streaming/Batch SQL
Flink整体框架
Flink 分层框架
SDK层:支持SQL/Table、DataStream(java)、Python
执行引擎层:提供统一DAG(有向无环图)来描述数据处理的Pipeline;调度层再把DAG转化成分布式环境下的Task;Task之间通过Shuffle传输数据
状态存储层:存储算子状态信息
资源调度层:Flink可以支持部署在多种环境
Flink 整体框架
一个Flink集群主要包含两个核心组件:JM(JobManager)、TM(TaskManager)
JM 负责整个任务的协调工作,包括:调度 task、触发协调 Task 做 Checkpoint、协调容错恢复等,核心有下面三个组件:
Dispatcher: 接收作业,拉起 JobManager 来执行作业,并在 Job Master 挂掉之后恢复作业;
Job Master: 管理一个 job 的整个生命周期,会向 Resource Manager 申请 slot,并将 task 调度到对应 TM 上;
Resource Manager:负责 slot 资源的管理和调度,Task manager 拉起之后会向 RM 注册;
TM 负责执行一个 DataFlow Graph 的各个 task 以及 data streams 的 buffer 和数据交换。
Flink 如何做到流批一体
流计算和批计算独立情况下:
人力成本高:批、流两套系统的逻辑相似,但是需要开发两遍;
数据链路冗余:本身计算内容是一致的,用两套逻辑相似的链路来处理,产生一定的资源浪费;
数据口径不一致:两套链路或多或少会产生误差,会给业务方带来困扰。
为什么可以实现流批一体:
站在 Flink 的角度,Everything is Streams,无边界数据集是一种数据流,可以按照时间分成一个个有界数据集;
而批计算可以看作是流计算的特例,其有界数据集也是一种特殊数据流。
因此,无论是无边界数据集还是有界数据集,Flink都可以支持,并且从API到底层处理都是统一的,实现了流批一体。
流批一体的 Scheduler 层
Scheduler 主要负责将作业的 DAG 转化为在分布式环境中可以执行的 Task;
EAGER模式(Streaming 场景):申请一个作业所需要的全部资源,然后同时调度这个作业的全部 Task,所有的 Task 之间采取 Pipeline 的方式进行通信;
LAZY模式(Batch 场景):先调度上游,等待上游产生数据或结束后再调度下游,类似 Spark 的 Stage 执行模式。
流批一体的 Shuffle Service 层
Shuffle:在分布式计算中,用来连接上下游数据交互的过程叫做 Shuffle。
为了统一在Streaming和Batch模式下的Shuffle架构,Flink实现了一个Pluggable的Shuffle Service框架,抽象出一些公共模块,详情如下
经过在 DataStream 层、Scheduler层、Shuffle Service 层进行改造和优化,Flink已经可以方便地解决流和批场景的问题。