Flink流处理应用在IDEA中的执行流程分析

Flink流式计算的核心概念就是将数据从输入流一个个传递给operator进行链式处理,最后交给输出流的过程。对数据的每一次处理在逻辑上成为一个operator(算子)。

Flink流处理应用在IDEA中的执行流程分析


Flink经典示例WordCount流处理应用-整个执行流程如下图所示:

Flink流处理应用在IDEA中的执行流程分析

第1~4步:main方法读取文件,增加算子;

第5步:产生StreamGraph,从而可以得到JobGraph,即将Stream程序转换成JobGraph;

第6~8步:LocalEnvironment 是本地执行任务的环境,负责启动MiniCluster,在本地执行Flink任务。MiniCluster可以看做是内嵌的Flink运行时环境,所有的组件都在独立的本地线程中运行。MiniCluster的启动入口在LocalStreamEnvironment#execute(jobName)中。

第9~12步:执行job;

第13步:关闭执行流程;


分享到:


相關文章: