分佈式任務調度xxl-job

前言碎語

在單機應用時期,任務調度一般都是基於spring schedule和集成quartz來實現的,當系統發展成分佈式服務,應用多實例的時候,任務就會出現多次調用的問題,很多時候我們任務並不需要跑多次。解決方案有很多,最最簡單粗暴的就是可以設置應用開關。其次就是集中式話任務管理調度。當然,quartz也有集群模式,但是基於api控制並不直觀。下面介紹一個集中式的分佈式任務調度框架,可以很方便的解決分佈式任務調度的問題

一,xxl-job簡介

XXL-JOB是一個輕量級分佈式任務調度框架,其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線,開箱即用。功能如下

1、簡單:支持通過Web頁面對任務進行CRUD操作,操作簡單,一分鐘上手;

2、動態:支持動態修改任務狀態、暫停/恢復任務,以及終止運行中任務,即時生效;

3、調度中心HA(中心式):調度採用中心式設計,“調度中心”基於集群Quartz實現,可保證調度中心HA;

4、執行器HA(分佈式):任務分佈式執行,任務"執行器"支持集群部署,可保證任務執行HA;

5、任務Failover:執行器集群部署時,任務路由策略選擇"故障轉移"情況下調度失敗時將會平滑切換執行器進行Failover;

6、一致性:“調度中心”通過DB鎖保證集群分佈式調度的一致性, 一次任務調度只會觸發一次執行;

7、自定義任務參數:支持在線配置調度任務入參,即時生效;

8、調度線程池:調度系統多線程觸發調度運行,確保調度精確執行,不被堵塞;

9、彈性擴容縮容:一旦有新執行器機器上線或者下線,下次調度時將會重新分配任務;

10、郵件報警:任務失敗時支持郵件報警,支持配置多郵件地址群發報警郵件;

11、狀態監控:支持實時監控任務進度;

12、Rolling執行日誌:支持在線查看調度結果,並且支持以Rolling方式實時查看執行器輸出的完整的執行日誌;

13、GLUE:提供Web IDE,支持在線開發任務邏輯代碼,動態發佈,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯。

14、數據加密:調度中心和執行器之間的通訊進行數據加密,提升調度信息安全性;

15、任務依賴:支持配置子任務依賴,當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔;

16、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;

17、任務註冊: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時,也支持手動錄入執行器地址;

18、路由策略:執行器集群部署時提供豐富的路由策略,包括:第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等;

19、運行報表:支持實時查看運行數據,如任務數量、調度次數、執行器數量等;以及調度報表,如調度日期分佈圖,調度成功分佈圖等;

20、腳本任務:支持以GLUE模式開發和運行腳本任務,包括Shell、Python等類型腳本;

21、阻塞處理策略:調度過於密集執行器來不及處理時的處理策略,策略包括:單機串行(默認)、丟棄後續調度、覆蓋之前調度;

22、失敗處理策略;調度失敗時的處理策略,策略包括:失敗告警(默認)、失敗重試;

23、分片廣播任務:執行器集群部署時,任務路由策略選擇"分片廣播"情況下,一次任務調度將會廣播觸發集群中所有執行器執行一次任務,可根據分片參數開發分片任務;

24、動態分片:分片廣播任務以執行器為維度進行分片,支持動態擴容執行器集群從而動態增加分片數量,協同進行業務處理;在進行大數據量業務操作時可顯著提升任務處理能力和速度。

25、事件觸發:除了"Cron方式"和"任務依賴方式"觸發任務執行之外,支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務,可根據業務事件靈活觸發。

二、部署:

見項目地址為:https://github.com/xuxueli/xxl-job

三、 開發第一個任務“Hello World”

本示例以新建一個 “GLUE模式(Java)” 運行模式的任務為例。更多有關任務的詳細配置,請查看“章節三:任務詳解”。 ( “GLUE模式(Java)”的執行代碼託管到調度中心在線維護,相比“Bean模式任務”需要在執行器項目開發部署上線,更加簡便輕量)

前提:請確認“調度中心”和“執行器”項目已經成功部署並啟動;

步驟一:新建任務:

分佈式任務調度xxl-job

分佈式任務調度xxl-job

步驟二:“GLUE模式(Java)” 任務開發:

請點擊任務右側 “GLUE” 按鈕,進入 “GLUE編輯器開發界面” ,見下圖。“GLUE模式(Java)” 運行模式的任務默認已經初始化了示例任務代碼,即打印Hello World。 ( “GLUE模式(Java)” 運行模式的任務實際上是一段繼承自IJobHandler的Java類代碼,它在執行器項目中運行,可使用@Resource/@Autowire注入執行器裡中的其他服務)

分佈式任務調度xxl-job

步驟三:觸發執行:

請點擊任務右側 “執行” 按鈕,可手動觸發一次任務執行(通常情況下,通過配置Cron表達式進行任務調度出發)。

步驟四:查看日誌:

請點擊任務右側 “日誌” 按鈕,可前往任務日誌界面查看任務日誌。 在任務日誌界面中,可查看該任務的歷史調度記錄以及每一次調度的任務調度信息、執行參數和執行信息。運行中的任務點擊右側的“執行日誌”按鈕,可進入日誌控制檯查看實時執行日誌。

分佈式任務調度xxl-job


分享到:


相關文章: