Flink反压机制

整体上来说的话,Flink 内部是基于 producer-consumer 模型来进行消息传递的,也正是 producer-consumer 模型的存在,Flink 能够实现完美的反压。要想更好的理解为什么 Flink 可以完美的实现反压,我们首先需要明白 Flink内部的 producer-consumer 模型,理解了模型,自然也就懂了反压。
我会用几张图来展示 Flink的 producer-consumer 模型。
我们以 WC 为例,这里盗用一下别人的图片,感谢,笔芯!
123.png
我们可以看到从 ExecutionGraph 转化为物理执行图时,IntermediateResult 和 IntermediateResultPartition 分别转化为 ResultPartition 和 ResultSubPartition ,而 ExecutionEdge 转化为 InputGate 和 InputChannel。至此转化完毕,这些也就是我们今天要讨论的主角。再继续讲解主角之前呢,不知道大家对 task 是怎么运行的还有没有印象(没有的同学可以回顾之前的博客 Flink Job是如何被执行的(后续写了再更新链接地址) ),我们曾经提到过,在 Task 的构造器中构建了 ResultPartition 和 InputGate 以及

network.registerTask(this);

此方法会为每一个 Task 的每一个 ResultPartition 申请一个 BufferPool,同时为每一个 Task 的每个 InputGate 申请一个 BufferPool。

@VisibleForTesting
	public void setupPartition(ResultPartition partition) throws IOException {
		BufferPool bufferPool = null;
		try {
			...
			partition.registerBufferPool(bufferPool);
			...
		} catch (Throwable t) {
			...
		}
...
	}
@VisibleForTesting
	public void setupInputGate(SingleInputGate gate) throws IOException {
		BufferPool bufferPool = null;
		int maxNumberOfMemorySegments;
		try {
			...
			gate.setBufferPool(bufferPool);
		} catch (Throwable t) {
		...
		}
	}

ResultPartition、ResultSubPartition以及 InputGate、InputChannel究竟都是什么鬼呢?不急,看我信手拈来
在这里插入图片描述
试想一下,水流正酣,如果此时将下游 1 号和 2 号水龙头关闭,会发生什么情况,首先被添满的肯定是抽水机 1 号 和 2 号,因为抽水机只进不出,抽水机满了,封闭木桶就不出水了,慢慢的封闭木桶也满了,最后,直接作用于上游水龙头,由物理定律可知,当上游水龙头的水压与木桶对上游水龙头的反压一样时,上游水龙头也就不再放水了。
不过抽水机怎么知道,抽哪个桶的水呢?没错,就是通过管道知道的。
为了更好的理解反压,我们可以上游水龙头类比于图123中的 source,封闭木桶类比于 ResultPartition,封闭木桶 1 号和 2 号 类比于 ResultSubPartition,管道 1 号 和 2 号就可以类比 channel ,而 抽水机 就可以类比inputGates,而 下游水龙头当然就类比于 Keyed Aggregation—>sink。
当下游算子消费比上游算子产生的快时,慢慢的 inputGate‘s buffer 就会满了,然后该ResultSubPartition的 buffer 满了,依次往上推,最后形成反压效果,致使上游算子减慢生产的速度,从而慢慢达到平衡状态

发布了94 篇原创文章 · 获赞 47 · 访问量 13万+

猜你喜欢

转载自blog.csdn.net/jsjsjs1789/article/details/100022391