思維導圖

文章已收錄Github精選，歡迎Star：https://github.com/yehongzhi/learningSummary

一、概述

在平時的業務場景中，經常有一些場景需要使用定時任務，比如：

• 時間驅動的場景：某個時間點發送優惠券，傳送簡訊等等。
• 批量處理資料：批量統計上個月的賬單，統計上個月銷售資料等等。
• 固定頻率的場景：每隔5分鐘需要執行一次。

所以定時任務在平時開發中並不少見，而且對於現在快速消費的時代，每天都需要傳送各種推送，訊息都需要依賴定時任務去完成，應用非常廣泛。

二、為什麼需要任務排程平臺

在Java中，傳統的定時任務實現方案，比如Timer，Quartz等都或多或少存在一些問題：

• 不支援叢集、不支援統計、沒有管理平臺、沒有失敗報警、沒有監控等等

而且在現在分散式的架構中，有一些場景需要分散式任務排程：

• 同一個服務多個例項的任務存在互斥時，需要統一的排程。
• 任務排程需要支援高可用、監控、故障告警。
• 需要統一管理和追蹤各個服務節點任務排程的結果，需要記錄儲存任務屬性資訊等。

顯然傳統的定時任務已經不滿足現在的分散式架構，所以需要一個分散式任務排程平臺，目前比較主流的是elasticjob和xxl-job。

elasticjob由噹噹網開源，目前github有6.5k的Star，使用的公司在官網登記有76家。

跟xxl-job不同的是，elasticjob是採用zookeeper實現分散式協調

三、為什麼選擇XXL-JOB

實際上更多公司選擇xxl-job，目前xxl-job的github上有15.7k個star，登記公司有348個。毫無疑問elasticjob和xxl-job都是非常優秀的技術框架，接下來我們進一步對比討論，探索一下為什麼更多公司會選擇xxl-job。

首先先介紹一下xxl-job，這是出自大眾點評許雪裡(xxl就是作者名字的拼音首字母)的開源專案，官網上介紹這是一個輕量級分散式任務排程框架，其核心設計目標是開發迅速、學習簡單、輕量級、易擴充套件。跟elasticjob不同，xxl-job環境依賴於mysql，不用ZooKeeper，這也是最大的不同。

elasticjob的初衷是為了面對高併發複雜的業務，即使是在業務量大，伺服器多的時候也能做好任務排程，儘可能的利用伺服器的資源。使用ZooKeeper使其具有高可用、一致性的，而且還具有良好的擴充套件性。官網上寫elasticjob是無中心化的，通過ZooKeeper的選舉機制選舉出主伺服器，如果主伺服器掛了，會重新選舉新的主伺服器。因此elasticjob具有良好的擴充套件性和可用性，但是使用和運維有一定的複雜。

xxl-job則相反，是通過一箇中心式的排程平臺，排程多個執行器執行任務，排程中心通過DB鎖保證叢集分散式排程的一致性，這樣擴充套件執行器會增大DB的壓力，但是如果實際上這裡資料庫只是負責任務的排程執行。但是如果沒有大量的執行器的話和任務的情況，是不會造成資料庫壓力的。實際上大部分公司任務數，執行器並不多(雖然面試經常會問一些高併發的問題)。

相對來說，xxl-job中心式的排程平臺輕量級，開箱即用，操作簡易，上手快，與SpringBoot有非常好的整合，而且監控介面就整合在排程中心，介面又簡潔，對於企業維護起來成本不高，還有失敗的郵件告警等等。這就使很多企業選擇xxl-job做排程平臺。

四、安裝

4.1 拉取原始碼

搭建xxl-job很簡單，有docker拉取映象部署和原始碼編譯兩種方式，docker部署的方式比較簡單，我就講原始碼編譯的方式。首先到github拉取xxl-job原始碼到本地。

4.2 匯入IDEA

拉取原始碼下來後，可以看到專案結構，如下：

匯入到IDEA，配置一下Maven，下載相關的jar包，稍等一下後，就可以看到這樣的專案：

4.3 初始化資料庫

前面講過xxl-job需要依賴mysql，所以需要初始化資料庫，在xxl-jobdocdb路徑下找到tables_xxl_job.sql檔案。在mysql上執行sql檔案。

4.4 配置檔案

接著就改一下配置檔案，在admin專案下找到application.properties檔案。

### 排程中心JDBC連結
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
### 報警郵箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
[email protected]
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### 排程中心通訊TOKEN [選填]：非空時啟用；
xxl.job.accessToken=
### 排程中心國際化配置 [必填]： 預設為 "zh_CN"/中文簡體, 可選範圍為 "zh_CN"/中文簡體, "zh_TC"/中文繁體 and "en"/英文；
xxl.job.i18n=zh_CN
## 排程執行緒池最大執行緒配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### 排程中心日誌表資料儲存天數 [必填]：過期日誌自動清理；限制大於等於7時生效，否則, 如-1，關閉自動清理功能；
xxl.job.logretentiondays=10

4.5 編譯執行

簡單一點直接跑admin專案的main方法啟動也行。

如果部署在伺服器呢，那我們需要打包成jar包，在IDEA利用Maven外掛打包。

然後在xxl-jobxxl-job-admintarget路徑下，找到jar包。

然後就得到jar包了，使用java -jar命令就可以啟動了。

到這裡就已經完成了！開啟瀏覽器，輸入http://localhost:8080/xxl-job-admin進入管理頁面。預設賬號/密碼：admin/123456。

五、永遠的HelloWord

部署了排程中心之後，需要往排程中心註冊執行器，新增排程任務。接下來就參考xxl-job寫一個簡單的例子。

首先建立一個SpringBoot專案，名字叫"xxljob-demo"，新增依賴。

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
    </dependency>
    <dependency><!-- 官網的demo是2.2.1，中央maven倉庫還沒有，所以就用2.2.0 -->
        <groupId>com.xuxueli</groupId>
        <artifactId>xxl-job-core</artifactId>
        <version>2.2.0</version>
    </dependency>
</dependencies>

接著修改application.properties。

# web port
server.port=8081
# log config
logging.config=classpath:logback.xml
spring.application.name=xxljob-demo
### 排程中心部署跟地址 [選填]：如排程中心叢集部署存在多個地址則用逗號分隔。執行器將會使用該地址進行"執行器心跳註冊"和"任務結果回撥"；為空則關閉自動註冊；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 執行器通訊TOKEN [選填]：非空時啟用；
xxl.job.accessToken=
### 執行器AppName [選填]：執行器心跳註冊分組依據；為空則關閉自動註冊
xxl.job.executor.appname=xxl-job-demo
### 執行器註冊 [選填]：優先使用該配置作為註冊地址，為空時使用內嵌服務 ”IP:PORT“ 作為註冊地址。從而更靈活的支援容器型別執行器動態IP和動態對映埠問題。
xxl.job.executor.address=
### 執行器IP [選填]：預設為空表示自動獲取IP，多網絡卡時可手動設定指定IP，該IP不會繫結Host僅作為通訊實用；地址資訊用於 "執行器註冊" 和 "排程中心請求並觸發任務"；
xxl.job.executor.ip=
### 執行器埠號 [選填]：小於等於0則自動獲取；預設埠為9999，單機部署多個執行器時，注意要配置不同執行器埠；
xxl.job.executor.port=9999
### 執行器執行日誌檔案儲存磁碟路徑 [選填] ：需要對該路徑擁有讀寫許可權；為空則使用預設路徑；
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 執行器日誌檔案儲存天數 [選填] ： 過期日誌自動清理, 限制值大於等於3時生效; 否則, 如-1, 關閉自動清理功能；
xxl.job.executor.logretentiondays=10

接著寫一個配置類XxlJobConfig。

@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;
    @Value("${xxl.job.accessToken}")
    private String accessToken;
    @Value("${xxl.job.executor.appname}")
    private String appname;
    @Value("${xxl.job.executor.address}")
    private String address;
    @Value("${xxl.job.executor.ip}")
    private String ip;
    @Value("${xxl.job.executor.port}")
    private int port;
    @Value("${xxl.job.executor.logpath}")
    private String logPath;
    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;

    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
        return xxlJobSpringExecutor;
    }
}

接著編寫一個任務類XxlJobDemoHandler，使用Bean模式。

@Component
public class XxlJobDemoHandler {
    /**
     * Bean模式，一個方法為一個任務
     * 1、在Spring Bean例項中，開發Job方法，方式格式要求為 "public ReturnT<String> execute(String param)"
     * 2、為Job方法添加註解 "@XxlJob(value="自定義jobhandler名稱", init = "JobHandler初始化方法", destroy = "JobHandler銷燬方法")"，註解value值對應的是排程中心新建任務的JobHandler屬性的值。
     * 3、執行日誌：需要通過 "XxlJobLogger.log" 列印執行日誌；
     */
    @XxlJob("demoJobHandler")
    public ReturnT<String> demoJobHandler(String param) throws Exception {
        XxlJobLogger.log("java, Hello World~~~");
        XxlJobLogger.log("param:" + param);
        return ReturnT.SUCCESS;
    }
}

在resources目錄下，新增logback.xml檔案。

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false" scan="true" scanPeriod="1 seconds">
    <contextName>logback</contextName>
    <property name="log.path" value="/data/applogs/xxl-job/xxl-job-executor-sample-springboot.log"/>
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>
    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${log.path}.%d{yyyy-MM-dd}.zip</fileNamePattern>
        </rollingPolicy>
        <encoder>
            <pattern>%date %level [%thread] %logger{36} [%file : %line] %msg%n
            </pattern>
        </encoder>
    </appender>
    <root level="info">
        <appender-ref ref="console"/>
        <appender-ref ref="file"/>
    </root>
</configuration>

寫完之後啟動服務，然後可以開啟管理介面，找到執行器管理，新增執行器。

接著到任務管理，新增任務。


最後我們可以到任務管理去測試一下，執行demoJobHandler。


點選儲存後，會立即執行。點選檢視日誌，可以看到任務執行的歷史日誌記錄。

開啟剛剛執行的執行日誌，我們可以看到，執行成功。

這就是簡單的Demo演示，非常簡單，上手也快。

六、談談架構設計

下面簡單地說一下xxl-job的架構，我們先看官網提供的一張架構圖來分析。

從架構圖可以看出，分別有排程中心和執行器兩大組成部分

• 排程中心。負責管理排程資訊，按照排程配置發出排程請求，自身不承擔業務程式碼。支援視覺化介面，可以在排程中心對任務進行新增，更新，刪除，會實時生效。支援監控排程結果，檢視執行日誌，檢視排程任務統計報表，任務失敗告警等等。
• 執行器。負責接收排程請求，執行排程任務的業務邏輯。執行器啟動後需要註冊到排程中心。接收排程中心的發出的執行請求，終止請求，日誌請求等等。

接下來我們看一下xxl-job的工作原理。

• 任務執行器根據配置的排程中心的地址，自動註冊到排程中心。
• 達到任務觸發條件，排程中心下發任務。
• 執行器基於執行緒池執行任務，並把執行結果放入記憶體佇列中、把執行日誌寫入日誌檔案中。
• 執行器的回撥執行緒消費記憶體佇列中的執行結果，主動上報給排程中心。
• 當用戶在排程中心檢視任務日誌，排程中心請求任務執行器，任務執行器讀取任務日誌檔案並返回日誌詳情。

絮叨

看完以上的內容，基本算入門了。實際上，xxl-job還有很多功能，要深入學習，還需要到官網去研究探索。最好就是自己在本地搭建一個xxl-job來玩玩，動手實踐是學得最快的學習方式。

原文連結
本文為阿里雲原創內容，未經允許不得轉載。