版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yangguosb/article/details/86562583
容错
容错性(Fault Tolerance)是指系统对错误的容忍能力,即当运行过程中出现错误或异常时,系统能否继续正常运行(包括错误的自动检测及自动恢复等);
Flink FT的难点
- 快速恢复。流计算的特点就是低延迟,因此需要尽可能的降低问题恢复时间,做到用户无感知。
- 保证Exactly-once语义。即问题恢复时,数据不被重复计算。
FT机制:Checkpoint
- Source: 定时产生Barrier插入数据流;
- DataStream: Barrier将数据流分段,划分到不同的Checkpoint;
- Operator: 接收到Barrier后开始对齐,直至所有输入流的Barrier达到,然后生成snapshot,继续向下游发送Barrier;
- Sink: 接受到所有输入流的Barrier后,发送ACK,当所有sink发出ACK后,一次checkpoint完成;
参考: