前言
Filnk簡介和編程模型
Flink使用java語言開發,提供了scala編程的接口。使用java或者scala開發Flink是需要使用jdk8版本,如果使用Maven,maven版本需要使用3.0.4及以上。
Dataflows:
parallel Dataflows:
Task和算子鏈:
JobManager、TaskManager和clients:
Flink運行時包含兩種類型的進程:
1. JobManger:也叫作masters,協調分佈式執行,調度task,協調checkpoint,協調故障恢復。在Flink程序中至少有一個JobManager,高可用可以設置多個JobManager,其中一個是Leader,其他都是standby狀態。
2. TaskManager:也叫workers,執行dataflow生成的task,負責緩衝數據,及TaskManager之間的交換數據。Flink程序中必須有一個TaskManager.
Flink程序可以運行在standalone集群,Yarn或者Mesos資源調度框架中。
clients不是Flink程序運行時的一部分,作用是向JobManager準備和發送dataflow,之後,客戶端可以斷開連接或者保持連接。
Flink的學習路線
Flink 1016.07M學習視頻
Flink學習筆記
flink代碼及資料展示
flink技術文檔
內容包括資料、視頻、代碼、筆記和技術文檔,希望大家能夠喜歡。
閱讀更多 大數據程序員工程師 的文章