1.概述

分散式任務排程框架幾乎是每個大型應用必備的工具。XXL-JOB是一個分散式任務排程平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴充套件。現已開放原始碼並接入多家公司線上產品線，開箱即用。

目前已有多家公司接入xxl-job，包括比較知名的大眾點評，京東，優信二手車，北京尚德，360金融 (360)，聯想集團 (聯想)，易信 (網易)等等....

2.特性

① 功能強大

• 1、簡單：支援通過 Web 頁面對任務進行 CRUD 操作，操作簡單，一分鐘上手；
• 2、動態：支援動態修改任務狀態、啟動/停止任務，以及終止執行中任務，即時生效；
• 3、事件觸發：除了”Cron 方式”和”任務依賴方式”觸發任務執行之外，支援基於事件的觸發任務方式。排程中心提供觸發任務單次執行的 API 服務，可根據業務事件靈活觸發。
• 4、GLUE：提供 Web IDE，支援線上開發任務邏輯程式碼，動態釋出，實時編譯生效，省略部署上線的過程。支援 30 個版本的歷史版本回溯。 19、指令碼任務：支援以 GLUE 模式開發和執行指令碼任務，包括 Shell、Python、NodeJS、PHP、PowerShell 等型別指令碼;
• 5、命令列任務：原生提供通用命令列任務 Handler（Bean任務，”CommandJobHandler”）；業務方只需要提供命令列即可；
• 6、任務依賴：支援配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；
• 7、自定義任務引數：支援線上配置排程任務入參，即時生效；
• 8、資料加密：排程中心和執行器之間的通訊進行資料加密，提升排程資訊保安性；
• 9、跨平臺：原生提供通用 HTTP 任務Handler（Bean 任務，”HttpJobHandler”）；業務方只需要提供 HTTP 連結即可，不限制語言、平臺；
• 10、國際化：排程中心支援國際化設定，提供中文、英文兩種可選語言，預設為中文；

② 高效能

• 1、分片廣播任務：執行器叢集部署時，任務路由策略選擇”分片廣播”情況下，一次任務排程將會廣播觸發叢集中所有執行器執行一次任務，可根據分片引數開發分片任務；
• 2、動態分片：分片廣播任務以執行器為維度進行分片，支援動態擴容執行器叢集從而動態增加分片數量，協同進行業務處理；在進行大資料量業務操作時可顯著提升任務處理能力和速度。
• 3、排程執行緒池：排程系統多執行緒觸發排程執行，確保排程精確執行，不被堵塞；
• 4、全非同步：任務排程流程全非同步化設計實現，如非同步排程、非同步執行、非同步回撥等，有效對密集排程進行流量削峰，理論上支援任意時長任務的執行；
• 5、執行緒池隔離：排程執行緒池進行隔離拆分，慢任務自動降級進入 ”Slow” 執行緒池，避免耗盡排程執行緒，提高系統穩定性；

③ 高可用

• 1、排程中心 HA（中心式）：排程採用中心式設計，“排程中心”自研排程元件並支援叢集部署，可保證排程中心 HA；
• 2、執行器 HA（分散式）：任務分散式執行，任務”執行器”支援叢集部署，可保證任務執行 HA；
• 3、路由策略：執行器叢集部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性 HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；
• 4、故障轉移：任務路由策略選擇”故障轉移”情況下，如果執行器叢集中某一臺機器故障，將會自動 Failover 切換到一臺正常的執行器傳送排程請求。
• 5、阻塞處理策略：排程過於密集執行器來不及處理時的處理策略，策略包括：單機序列（預設）、丟棄後續排程、覆蓋之前排程；
• 6、任務超時控制：支援自定義任務超時時間，任務執行超時將會主動中斷任務；
• 7、任務失敗重試：支援自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支援分片粒度的失敗重試；
• 8、一致性：“排程中心”通過DB鎖保證叢集分散式排程的一致性, 一次任務排程只會觸發一次執行；

④ 監控治理

• 1、註冊中心: 執行器會週期性自動註冊任務, 排程中心將會自動發現註冊的任務並觸發執行。同時，也支援手動錄入執行器地址；
• 2、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次排程時將會重新分配任務；
• 3、任務失敗告警；預設提供郵件方式失敗告警，同時預留擴充套件介面，可方便的擴充套件簡訊、釘釘等告警方式；
• 4、任務進度監控：支援實時監控任務進度；
• 5、Rolling 實時日誌：支援線上檢視排程結果，並且支援以 Rolling 方式實時檢視執行器輸出的完整的執行日誌；
• 6、郵件報警：任務失敗時支援郵件報警，支援配置多郵件地址群發報警郵件；
• 7、推送 Maven 中央倉庫: 將會把最新穩定版推送到 Maven 中央倉庫, 方便使用者接入和使用;
• 8、執行報表：支援實時檢視執行資料，如任務數量、排程次數、執行器數量等；以及排程報表，如排程日期分佈圖，排程成功分佈圖等；
• 9、容器化：提供官方 Docker 映象，並實時更新推送 Docker Hub，進一步實現產品開箱即用；
• 10、使用者管理：支援線上管理系統使用者，存在管理員、普通使用者兩種角色；
• 11、許可權控制：執行器維度進行許可權控制，管理員擁有全量許可權，普通使用者需要分配執行器許可權後才允許相關操作；

3.架構設計

3.1 設計思想

• 將排程行為抽象形成“排程中心”公共平臺，而平臺自身並不承擔業務邏輯，“排程中心”負責發起排程請求。
• 將任務抽象成分散的 JobHandler ，交由“執行器”統一管理，“執行器”負責接收排程請求並執行對應的 JobHandler中 業務邏輯。

因此，“排程”和“任務”兩部分可以相互解耦，提高系統整體穩定性和擴充套件性。

如果胖友對分散式任務排程平臺有一定了解的話，如果從排程系統的角度來看，可以分成兩類：

• 中心化： 排程中心和執行器分離，排程中心統一排程，通知某個執行器處理任務。
• 去中心化：排程中心和執行器一體化，自己排程自己執行處理任務。

如此可知 XXL-Job 屬於中心化的任務排程平臺。目前採用這種方案的還有：

• 鏈家的 kob
• 美團的 Crane（暫未開源）

去中心化的任務排程平臺，目前有：

• Elastic Job
• 唯品會的 Saturn
• Quartz 基於資料庫的叢集方案
• 淘寶的 TBSchedule（暫停更新，只能使用阿里雲 SchedulerX 服務）

3.2 系統組成

整個 XXL-JOB 系統，由排程中心和執行器兩個角色組成，分別處於不同的程序中。

排程中心

• 負責管理排程資訊，按照排程配置發出排程請求，自身不承擔業務程式碼。
• 排程系統與任務解耦，提高了系統可用性和穩定性，同時排程系統性能不再受限於任務模組。
• 支援視覺化、簡單且動態的管理排程資訊，包括任務新建，更新，刪除， GLUE 開發和任務報警等，所有上述操作都會實時生效。
• 支援監控排程結果以及執行日誌，支援執行器 Failover 。

執行器

• 負責接收排程請求並執行任務邏輯。任務模組專注於任務的執行等操作，開發和維護更加簡單和高效。
• 接收“排程中心”的執行請求、終止請求和日誌請求等。

一般來說，XXL-JOB 執行器可以內嵌到應用服務裡。例如說，一個提供 Restful API 的 Spring Boot 專案中，引入 xxl-job-core 依賴，同時也作為一個 XXL-JOB 執行器。本質上，每次 Restful API 是請求任務，而每次任務排程是定時任務。

3.3 架構圖

• 注意，左邊是排程中心，右邊是執行器。
• 【執行器】：[註冊執行緒] 根據配置的【排程中心】的地址，自動註冊到【排程中心】。
• 【排程中心】：達到任務觸發條件，【排程中心】下發任務給【執行器】。
• 【執行器】：基於 [任務執行緒池] 執行任務，並把執行結果放入 [記憶體佇列] 中、把 [執行日誌] 寫入 Log 日誌檔案中。
• 【執行器】：[回撥執行緒] 消費 [記憶體佇列] 中的排程結果，主動上報給【排程中心】。
• 當用戶在【排程中心】檢視 [Rolling 任務日誌]，【排程中心】請求【執行器】，【執行器】讀取 Log 日誌檔案並返回日誌詳情。

3.4 同類框架比較

4.搭建排程中心

4.1 克隆原碼

克隆完成後，耐心等待下載完依賴。

• xxl-job-core 模組：XXL-JOB 核心。後續我們在編寫執行器時，會引入該模組。
• xxl-job-admin 模組：排程中心。
• xxl-job-executor-samples 模組：提供了在 Spring、Spring Boot、JFinal、Nutz 等框架下的使用示例。

這裡，我們需要編譯的主要是 xxl-job-admin 模組，即排程中心。

4.2 初始化XXL-JOB表結構

在 doc/db/tables_xxl_job.sql 地址，是 XXL-JOB 表結構的初始化指令碼。我們需要在資料庫中執行該指令碼，完成初始化 XXL-JOB 表結構。

• xxljoblock：任務排程鎖表；
• xxljobgroup：執行器資訊表，維護任務執行器資訊；
• xxljobinfo：排程擴充套件資訊表： 用於儲存 XXL-JOB 排程任務的擴充套件資訊，如任務分組、任務名、機器地址、執行器、執行入參和報警郵件等等；
• xxljoblog：排程日誌表： 用於儲存 XXL-JOB 任務排程的歷史資訊，如排程結果、執行結果、排程入參、排程機器和執行器等等；
• xxljoblog_report：排程日誌報表：使用者儲存 XXL-JOB 任務排程日誌的報表，排程中心報表功能頁面會用到；
• xxljoblogglue：任務GLUE日誌：用於儲存 GLUE 更新歷史，用於支援 GLUE 的版本回溯功能；
• xxljobregistry：執行器登錄檔，維護線上的執行器和排程中心機器地址資訊；
• xxljobuser：系統使用者表；

自 XXL-JOB 2.1.0 Release 版本，去除對 Quartz 的依賴，所以我們就看不到 Quartz 相關的表哈。

4.3 修改配置檔案

開啟 xxl-job-admin 模組，修改
src/main/resources/application.properties 配置檔案。如下：

### web # Web 伺服器
server.port=8080
server.context-path=/xxl-job-admin
### actuator
management.context-path=/actuator
management.health.mail.enabled=false
### resources
spring.mvc.static-path-pattern=/static/**
spring.resources.static-locations=classpath:/static/
### freemarker
spring.freemarker.templateLoaderPath=classpath:/templates/
spring.freemarker.suffix=.ftl
spring.freemarker.charset=UTF-8
spring.freemarker.request-context-attribute=request
spring.freemarker.settings.number_format=0.##########
### mybatis
mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml
### xxl-job, datasource 排程中心 JDBC 連結
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?Unicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.type=org.apache.tomcat.jdbc.pool.DataSource
spring.datasource.tomcat.max-wait=10000
spring.datasource.tomcat.max-active=30
spring.datasource.tomcat.test-on-borrow=true
spring.datasource.tomcat.validation-query=SELECT 1
spring.datasource.tomcat.validation-interval=30000
### xxl-job email 報警郵箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
[email protected]
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### xxl-job, access token 排程中心通訊TOKEN [選填]：非空時啟用；排程中心國際化配置 [選填]： 預設為空，表示中文; "en" 表示英文；
xxl.job.accessToken=
### xxl-job, i18n (default empty as chinese, "en" as english)
xxl.job.i18n=
## xxl-job, triggerpool max size 排程執行緒池最大執行緒配置
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### xxl-job, log retention days 排程中心日誌表資料儲存天數 [必填]：過期日誌自動清理；限制大於等於7時生效，否則, 如-1，關閉自動清理功能；
xxl.job.logretentiondays=30

可以看到 XXL-JOB 使用了 Spring Boot ，嘿嘿。配置項比較多，以下必須要改的項：

• server.port ：XXL-JOB 排程中心的伺服器地址。可以根據自己的需要，修改該埠。
• spring.datasource ：XXL-JOB 排程中心的資料來源地址，必須修改成自己準備提供給 XXL-JOB 的資料庫地址。
• spring.mail ：報警郵箱，生產環境下必須配置，不然定時任務執行報錯都不知道，簡直要命。 一般來說下，建議有時間的胖友，修改下 XXL-JOB 的原始碼，把釘釘告警接入。
• xxl.job.accessToken ：排程中心通訊令牌，建議填寫。雖然說，內網一般很安全，但是以防萬一，並且又沒啥成本，直接給整上。

4.4 修改日誌配置檔案

開啟 xxl-job-admin 模組，修改
src/main/resources/logback.xml 配置檔案。如下：

• 預設情況下，日誌輸出的地址是 /data/applogs/xxl-job/xxl-job-admin.log 。可以根據自己的需要，進行調整。

4.5 IDEA啟動排程中心

在開始編譯原始碼之前，我們先直接使用 XxlJobAdminApplication 類，執行啟動排程中心。這樣，避免我們後面編譯原始碼，進行打包查出來的 jar 包，結果配置檔案不對的尷尬。

當看到如下日誌，代表啟動成功：

啟動成功後，瀏覽器
http://127.0.0.1:8080/xxl-job-admin 地址，並使用預設 "admin/123456" 進行登入。如果登入成功，說明我們已經配置正確啦。

4.6 編譯原碼

# 進入 xxl-job-admin 模組根目錄
$ cd
/Users/yunai/Java/xxl-job2/
# 使用 Maven 打包指定 xxl-job-admin 模組，並忽略測試
$ mvn clean package -pl xxl-job-admin -am -DskipTests

打包完成後，在
xxl-job-admin/target/xxl-job-admin-2.1.2-SNAPSHOT.jar 地址下，就是我們要啟動的 XXL-JOB 排程中心的 jar 包。

4.7 命令列啟動排程中心

# 進入 xxl-job-admin jar 包所在目錄
$ cd xxl-job-admin/target/
# 啟動排程中心
$ jar -jar
xxl-job-admin-2.1.2-SNAPSHOT.jar

當看到如下日誌，代表啟動成功：

23:19:11.950 logback [main] INFO o.a.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8080"]
23:19:12.026 logback [main] INFO o.a.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
23:19:12.181 logback [main] INFO o.s.b.c.e.t.TomcatEmbeddedServletContainer - Tomcat started on port(s): 8080 (http)

啟動成功後，瀏覽器
http://127.0.0.1:8080/xxl-job-admin 地址，並使用預設 "admin/123456" 進行登入。如果登入成功，說明我們已經配置正確啦。

另外，啟動完成之後，記得去「使用者管理」選單，修改下管理員的密碼

4.8 搭建叢集

在生產環境下，一定要部署 XXL-JOB 排程中心的叢集，提升排程系統容災和可用性。

排程中心叢集部署時，幾點要求和建議：

• DB 配置保持一致；
• 叢集機器時鐘保持一致（單機叢集忽視）；
• 推薦通過 Nginx 為排程中心叢集做負載均衡，分配域名。排程中心訪問、執行器回撥配置、呼叫 API 服務等操作均通過該域名進行。

總結

基於xxl-job的眾多優良特性，java培訓該技術在實際應用中也頗受歡迎，比如：由於購物車採用的是同步操作redis，非同步操作mysql。即使mysql操作失敗，只要redis操作成功，依然不影響功能的使用。但是，如果不進行定期的資料同步處理，則可能導致mysql資料存在嚴重偏差，失去了資料分析價值。所以可以使用xxl-job定時同步購物車資料。