95-230-028-源码-WordCount走读-获取ExecutionGraph

1.视界

在这里插入图片描述

2. 概述

​ ExecutionGraph:JobManager 根据 JobGraph 生成ExecutionGraph。ExecutionGraph是JobGraph的并行化版本,是调度层最核心的数据结构。

2.1 名词解释

  • StreamGraph:根据用户通过 Stream API 编写的代码生成的最初的图。
  • StreamNode:用来代表 operator 的类,并具有所有相关的属性,如并发度、入边和出边等。
  • StreamEdge:表示连接两个StreamNode的边。
  • JobGraph:StreamGraph经过优化后生成了 JobGraph,提交给 JobManager 的数据结构。
  • JobVertex:经过优化后符合条件的多个StreamNode可能会chain在一起生成一个JobVertex,即一个* * JobVertex包含一个或多个operator,JobVertex的输入是JobEdge,输出是IntermediateDataSet。
  • IntermediateDataSet:表示JobVertex的输出,即经过operator处理产生的数据集。producer是JobVertex,consumer是JobEdge。
  • JobEdge:代表了job graph中的一条数据传输通道。source 是 IntermediateDataSet,target 是 JobVertex。即数据通过JobEdge由

猜你喜欢

转载自blog.csdn.net/qq_21383435/article/details/105748412