IDEA上運行Flink任務

IDEA是常用的IDE,我們編寫的flink任務代碼如果能直接在IDEA運行,會給學習和開發帶來很大便利,例如改完代碼立即運行不用部署、斷點、單步調試等;

環境信息

電腦:2019版13寸MacBook Pro,2.3 GHz 四核Intel Core i5,8 GB 2133 MHz LPDDR3

操作系統:macOS Catalina 10.15.3

JDK:1.8.0_211

Maven:3.6.0

IDEA:2018.3.5 (Ultimate Edition)

Flink版本:1.9.2

關於正版IDEA

如何免費使用正版IDEA,可以參考《 》

開發

  • 首先確保您電腦上maven已裝好;
  • 創建一個flink任務的maven工程,找個乾淨目錄執行以下命令:
<code>mvn \\archetype:generate \\-DarchetypeGroupId=org.apache.flink \\-DarchetypeArtifactId=flink-quickstart-java \\-DarchetypeVersion=1.9.2/<code>
  • 按提示輸入groupId、artifactId、version、package等內容:
IDEA上運行Flink任務

  • 現在maven工程已生成,用IDEA導入這個工程,如下圖:
IDEA上運行Flink任務

  • 以maven的類型導入:
IDEA上運行Flink任務

  • 導入成功後的樣子:
IDEA上運行Flink任務

  • 修改StreamingJob.java,加入功能是監聽本地18081端口,得到的字符串做word count操作,完整代碼在此下載:https://raw.githubusercontent.com/zq2599/blog_demos/master/files/StreamingJob.java
IDEA上運行Flink任務

  • 現在的代碼已經能運行,但flink網頁卻還不能訪問,會顯示以下錯誤信息,需要繼續做些設置:
IDEA上運行Flink任務

  • 下載flink-1.9.2安裝包,這裡面有flink網頁服務用到的一個jar,地址是:https://www-eu.apache.org/dist/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11.tgz
  • flink-1.9.2-bin-scala_2.11.tgz下載後解壓,在lib目錄下有個flink-dist_2.11-1.9.2.jar文件,記住此文件的位置,稍後會用到;
  • 回到IDEA,在項目上點擊右鍵,點擊菜單Open Module Settings
IDEA上運行Flink任務

  • 在彈出的窗口做如下操作,目的是給項目中增加jar:
IDEA上運行Flink任務

  • 彈出選擇文件的窗口,請選擇剛才準備好的文件flink-dist_2.11-1.9.2.jar
IDEA上運行Flink任務

  • 設置工作已經完成,由於StreamingJob的工作是讀取本機18081端口的數據,所以我們要把18081端口的服務啟動起來,不然StreamingJob運行時是連不上端口的,打開一個控制檯,執行命令:nc -l 18081
  • 現在可以將StreamingJob運行起來,如下圖,右鍵點擊StreamingJob,選擇Run 'StreamingJob.main()':即可啟動flink任務,如果想打斷點調試,請選擇Debug 'StreamingJob.main()'
IDEA上運行Flink任務

  • 回到剛才執行nc命令的控制檯,輸入一些字符串,例如"aaa bbb aaa",然後回車;
  • 再回到IDEA,可見StreamingJob已經從18081端口讀到了數據並且輸出了統計結果:
IDEA上運行Flink任務

  • 在IDEA的控制檯搜索關鍵字localhost,如下圖紅框,可以查到flink網頁的端口,我這裡是
    62641
IDEA上運行Flink任務

  • 瀏覽器訪問http://localhost:62641,如下圖,可見flink網頁已經正常顯示,正在運行的任務也能看到:
IDEA上運行Flink任務

至此,最簡單的IDEA運行flink任務的實戰就完成了,如果您也在學習flink,希望本文能給您一些參考;

IDEA上運行Flink任務


分享到:


相關文章: