(xxl_job | quartz):XXL_JOB 對比 Quartz 一決高下!
阿新 • • 發佈:2021-09-15
概述:
XXL-JOB是一個輕量級分散式任務排程平臺,其核心設計目標是開發迅速、學習簡單、輕量級、易擴充套件。
現已開放原始碼並接入多家公司線上產品線,開箱即用。
官方地址中文版:http://www.xuxueli.com/xxl-job 目前已有多家公司接入xxl-job,包括比較知名的大眾點評,京東,優信二手車,北京尚德,360金融 (360),聯想集團 (聯想),
易信 (網易)等等.... Quartz作為開源作業排程中的佼佼者,是作業排程的首選。
叢集環境中Quartz採用API的方式對任務進行管理,Quartz存在以下問題:
Quartz的不足:
問題一:呼叫API的的方式操作任務,不人性化;
問題二:需要持久化業務QuartzJobBean到底層資料表中,系統侵入性相當嚴重。
問題三:排程邏輯和QuartzJobBean耦合在同一個專案中,這將導致一個問題,在排程任務數量逐漸增多,
同時排程任務邏輯逐漸加重的情況加,此時排程系統的效能將大大受限於業務;
問題四:quartz底層以“搶佔式”獲取DB鎖並由搶佔成功節點負責執行任務,會導致節點負載懸殊非常大;
而XXL-JOB通過執行器實現“協同分配式”執行任務,充分發揮叢集優勢,負載各節點均衡。
XXL-JOB彌補了quartz的上述不足之處。
XXL-JOB特性:
- 簡單:支援通過Web頁面對任務進行CRUD操作,操作簡單,一分鐘上手
- 動態:支援動態修改任務狀態、啟動/停止任務,以及終止執行中任務,即時生效
- 排程中心HA(中心式):排程採用中心式設計,“排程中心”基於叢集Quartz實現並支援叢集部署,可保證排程中心HA
- 執行器HA(分散式):任務分散式執行,任務"執行器"支援叢集部署,可保證任務執行HA
- 註冊中心: 執行器會週期性自動註冊任務, 排程中心將會自動發現註冊的任務並觸發執行。同時,也支援手動錄入執行器地址
- 彈性擴容縮容:一旦有新執行器機器上線或者下線,下次排程時將會重新分配任務
- 路由策略:執行器叢集部署時提供豐富的路由策略,包括:第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等
- 故障轉移:任務路由策略選擇"故障轉移"情況下,如果執行器叢集中某一臺機器故障,將會自動Failover切換到一臺正常的執行器傳送排程請求。
- 阻塞處理策略:排程過於密集執行器來不及處理時的處理策略,策略包括:單機序列(預設)、丟棄後續排程、覆蓋之前排程
- 任務超時控制:支援自定義任務超時時間,任務執行超時將會主動中斷任務
- 任務失敗重試:支援自定義任務失敗重試次數,當任務失敗時將會按照預設的失敗重試次數主動進行重試;其中分片任務支援分片粒度的失敗重試
- 任務失敗告警;預設提供郵件方式失敗告警,同時預留擴充套件介面,可方便的擴充套件簡訊、釘釘等告警方式
- 分片廣播任務:執行器叢集部署時,任務路由策略選擇"分片廣播"情況下,一次任務排程將會廣播觸發叢集中所有執行器執行一次任務,可根據分片引數開發分片任務
- 動態分片:分片廣播任務以執行器為維度進行分片,支援動態擴容執行器叢集從而動態增加分片數量,協同進行業務處理;
- 在進行大資料量業務操作時可顯著提升任務處理能力 和速度
- 事件觸發:除了"Cron方式"和"任務依賴方式"觸發任務執行之外,支援基於事件的觸發任務方式。排程中心提供觸發任務單次執行的API服務,可根據業務事件靈活觸發
- 任務進度監控:支援實時監控任務進度
- Rolling實時日誌:支援線上檢視排程結果,並且支援以Rolling方式實時檢視執行器輸出的完整的執行日誌
- GLUE:提供Web IDE,支援線上開發任務邏輯程式碼,動態釋出,實時編譯生效,省略部署上線的過程。支援30個版本的歷史版本回溯
- 指令碼任務:支援以GLUE模式開發和執行指令碼任務,包括Shell、Python、NodeJS、PHP、PowerShell等型別指令碼
- 命令列任務:原生提供通用命令列任務Handler(Bean任務,"CommandJobHandler");業務方只需要提供命令列即可
- 任務依賴:支援配置子任務依賴,當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔
- 一致性:“排程中心”通過DB鎖保證叢集分散式排程的一致性, 一次任務排程只會觸發一次執行
- 自定義任務引數:支援線上配置排程任務入參,即時生效
- 排程執行緒池:排程系統多執行緒觸發排程執行,確保排程精確執行,不被堵塞
- 資料加密:排程中心和執行器之間的通訊進行資料加密,提升排程資訊保安性
- 郵件報警:任務失敗時支援郵件報警,支援配置多郵件地址群發報警郵件
- 推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便使用者接入和使用
- 執行報表:支援實時檢視執行資料,如任務數量、排程次數、執行器數量等;以及排程報表,如排程日期分佈圖,排程成功分佈圖等
- 全非同步:任務排程流程全非同步化設計實現,如非同步排程、非同步執行、非同步回撥等,有效對密集排程進行流量削峰,理論上支援任意時長任務的執行
- 跨平臺:原生提供通用HTTP任務Handler(Bean任務,"HttpJobHandler"),業務方只需要提供HTTP連結即可,不限制語言、平臺
- 國際化:排程中心支援國際化設定,提供中文、英文兩種可選語言,預設為中文
- 容器化:提供官方docker映象,並實時更新推送dockerhub,進一步實現產品開箱即用
- 執行緒池隔離:排程執行緒池進行隔離拆分,慢任務自動降級進入"Slow"執行緒池,避免耗盡排程執行緒,提高系統穩定性