Flink转换算子/窗口/窗口操作符概念理解

数据摄取是操作从外部源获取原始数据并将其转换为其他格式(ETL)。实现数据提取逻辑的运算符被称为数据源。执行数据出口的运算符称为数据接收器,包括文件,数据库,消息队列和监控接口。

转换算子

在这里插入图片描述

转换算子是一次处理算子,碰到一个事件处理一个事件。转换一次会消费一个事件,在消费的过程中对事件数据做一些转换,产生一个新的输出流。转换逻辑可以集成在 操作符中或由UDF函数提供,如上图,这样程序员编写实现自定义计算逻辑。

操作符可以接受多个输入流并产生多个输出流。他们还可以通过修改数据流图的结构要么将流分成多个流,要么将流合并为一条流。

滚动聚合

滚动聚合是一种聚合操作,例如sum,minimum和maximum,为每个输入事件不断更新。 聚合操作是有状态的,并将当前状态与传入事件一起计算以产生更新的聚合值。下图显示了最小滚动聚合。操作符保持当前的最小值和相应地为每个传入的事件来更新最小值。

猜你喜欢

转载自blog.csdn.net/MissWYAN/article/details/108891261
今日推荐