企業中常用的分佈式任務調度平臺XXL-JOB

一：簡介

1.1 概述

XXL-JOB是一個輕量級分佈式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。

• 官網地址 http://www.xuxueli.com/xxl-job/
• 中文文檔

1.2 特性

1. 簡單：支持通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；
2. 動態：支持動態修改任務狀態. 啟動/停止任務，以及終止運行中任務，即時生效；
3. 調度中心HA（中心式）：調度採用中心式設計，“調度中心”基於集群Quartz實現並支持集群部署，可保證調度中心HA；
4. 執行器HA（分佈式）：任務分佈式執行，任務"執行器"支持集群部署，可保證任務執行HA；
5. 註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時，也支持手動錄入執行器地址；
6. 彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務；
7. 路由策略：執行器集群部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；.
8. 故障轉移：任務路由策略選擇"故障轉移"情況下，如果執行器集群中某一臺機器故障，將會自動Failover切換到一臺正常的執行器發送調度請求。
9. 阻塞處理策略：調度過於密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄後續調度、覆蓋之前調度；
10. 任務超時控制：支持自定義任務超時時間，任務運行超時將會主動中斷任務；
11. 任務失敗重試：支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支持分片粒度的失敗重試；
12. 任務失敗告警；默認提供郵件方式失敗告警，同時預留擴展接口，可方便的擴展短信、釘釘等告警方式；
13. 分片廣播任務：執行器集群部署時，任務路由策略選擇"分片廣播"情況下，一次任務調度將會廣播觸發集群中所有執行器執行一次任務，可根據分片參數開發分片任務；
14. 動態分片：分片廣播任務以執行器為維度進行分片，支持動態擴容執行器集群從而動態增加分片數量，協同進行業務處理；在進行大數據量業務操作時可顯著提升任務處理能力和速度。
15. 事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。
16. 任務進度監控：支持實時監控任務進度；
17. Rolling實時日誌：支持在線查看調度結果，並且支持以Rolling方式實時查看執行器輸出的完整的執行日誌；
18. GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發佈，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。
19. 腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
20. 命令行任務：原生提供通用命令行任務Handler（Bean任務，"CommandJobHandler"）；業務方只需要提供命令行即可；
21. 任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；
22. 一致性：“調度中心”通過DB鎖保證集群分佈式調度的一致性, 一次任務調度只會觸發一次執行；
23. 自定義任務參數：支持在線配置調度任務入參，即時生效；
24. 調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；
25. 數據加密：調度中心和執行器之間的通訊進行數據加密，提升調度信息安全性；
26. 郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址群發報警郵件；
27. 推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
28. 運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分佈圖，調度成功分佈圖等；
29. 全異步：任務調度流程全異步化設計實現，如異步調度、異步運行、異步回調等，有效對密集調度進行流量削峰，理論上支持任意時長任務的運行；
30. 跨平臺：原生提供通用HTTP任務Handler（Bean任務，"HttpJobHandler"）；業務方只需要提供HTTP鏈接即可，不限制語言、平臺；
31. 國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認為中文；
32. 容器化：提供官方docker鏡像，並實時更新推送dockerhub，進一步實現產品開箱即用；

二: 安裝調度中心xxl-job-admin和執行器 xxl-job-executor-samples

1. 下載最新releases版本源代碼Source Code https://github.com/xuxueli/xxl-job/releases
2. 使用IDEA import project

xxl-job 包含一些文檔和3個工程

• doc 文檔
• tablesxxljob.sql
• XXL-JOB官方文檔.md
• XXL-JOB架構圖.pptx
• xxl-job-admin：調度中心
• xxl-job-core：公共依賴
• xxl-job-executor：執行器Sample示例（選擇合適的版本執行器，可直接使用，也可以參考其並將現有項目改造成執行器）xxl-job-executor-sample-spring：Spring版本，通過Spring容器管理執行器，比較通用，推薦這種方式；
• xxl-job-executor-sample-springboot：Springboot版本，通過Springboot管理執行器；
• xxl-job-executor-sample-jfinal：JFinal版本，通過JFinal管理執行器；
• xxl-job-executor-sample-nutz：Nutz版本，通過Nutz管理執行器；

3. 初始化“調度數據庫”

選中一個數據庫(數據庫名稱隨意)，然後執行sql文件 xxl-job-2.0.1/doc/db/tablesxxljob.sql，此sql文件會生成16張表。

<code>mysql>CREATE DATABASE`xxl-job`DEFAULT CHARACTER SET utf8mb4;
mysql>USE xxl-job;
mysql>source~/Projects/open/xxl-job-2.0.1/doc/db/tables_xxl_job.sql/<code>

4. 配置部署“調度中心” xxl-job-admin

作用：統一管理任務調度平臺上調度任務，負責觸發調度執行，並且提供任務管理平臺。

修改屬性文件xxl-job-2.0.1/xxl-job-admin/src/main/resources/application.properties

### 調度中心JDBC鏈接(需要修改ip、database、username、password)

spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl-job?Unicode=true&characterEncoding=UTF-8

spring.datasource.username=root

spring.datasource.password=root123

spring.datasource.driver-class-name=com.mysql.jdbc.Driver

### 報警郵箱(根據具體情況來修改)

xxl.job.mail.host=smtp.163.com

xxl.job.mail.port=25

xxl.job.mail.ssl=false

[email protected]

xxl.job.mail.password=xxx

xxl.job.mail.sendNick=《任務調度平臺XXL-JOB》

在IDEA中啟動XxlJobAdminApplication，如果啟動報錯xxl-job-admin.log找不到就自己創建出來

<code>18:33:40,907 |-ERROR in ch.qos.logback.core.rolling.RollingFileAppender[file] - Failed to create parent directories for [/data/applogs/xxl-job/xxl-job-admin.log]/<code>

啟動成功訪問http://localhost:8080/xxl-job-admin/

配置部署“執行器項目” xxl-job-executor-samples

作用：負責接收“調度中心”的調度並執行；可直接部署執行器，也可以將執行器集成到現有業務項目中。

修改配置文件xxl-job-executor-sample-springboot/src/main/resources/application.properties, 自己查看一下配置，這裡該屬性文件沒什麼要修改的，可以直接啟動XxlJobExecutorApplication，啟動時注意看是否報錯，有可能由於權限的問題會報一些文件不存在的異常，可以自己預先創建好這些目錄文件再重啟項目

<code>cd /data/applogs/xxl-job
sudo touch xxl-job-executor-sample-springboot.log
sudo chmod 777 xxl-job-executor-sample-springboot.log
sudo mkdir -p jobhandler/gluesource/<code>

啟動XxlJobExecutorApplication成功後，查看調度中心xxl-job-admin中的任務管理菜單

三：開發第一個任務“Hello World”

本示例以新建一個 “GLUE模式(Java)” 運行模式的任務為例。“GLUE模式(Java)”的執行代碼託管到調度中心在線維護，相比“Bean模式任務”需要在執行器項目開發部署上線，更加簡便輕量。

創建任務之前，請確認“調度中心”和“執行器”項目已經成功部署並啟動；

新增任務

測試任務1指的是xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/java/com/xxl/job/executor/service/jobhandler/DemoJobHandler.java

選擇運行模式為GLUE(Java)

請點擊任務右側 “GLUE” 按鈕，進入 “GLUE編輯器開發界面” 。“GLUE模式(Java)” 運行模式的任務默認已經初始化了示例任務代碼，即打印Hello World。“GLUE模式(Java)” 運行模式的任務實際上是一段繼承自IJobHandler的Java類代碼，它在執行器項目中運行，可使用@Resource/@Autowire注入執行器裡中的其他服務。

任務代碼

感覺GLUE(Java)適合任務是單個Java文件就能搞定，如果要訪問數據庫，一般數據庫操作會寫到其它文件中，如果任務涉及到多個文件應該使用BEAN模式

點擊執行(執行是手動執行一次，可以點擊啟動根據Cron來觸發)

執行任務時可以輸入參數，輸入的值會以參數的形式被傳遞到execute(String param)方法中。

查看日誌 點擊任務右側 “日誌” 按鈕，可前往任務日誌界面查看任務日誌。 在任務日誌界面中，可查看該任務的歷史調度記錄以及每一次調度的任務調度信息、執行參數和執行信息。運行中的任務點擊右側的“執行日誌”按鈕，可進入日誌控制檯查看實時執行日誌。

閱讀更多 Java實用技術 的文章

關鍵字: Docker 集成開發環境 設計