Spring Boot Batch批處理框架深入解讀

1、batch簡介

batch 是一款輕量的、全面的批處理框架，用於開發強大的日常運營的企業級批處理應用程式。

框架主要有以下功能：

• Transaction management（事務管理）
• Chunk based processing（基於塊的處理）
• Declarative I/O（宣告式的輸入輸出）
• Start/Stop/Restart（啟動/停止/再啟動）
• Retry/Skip（重試/跳過）

2、框架全貌

框架四個角色：

• JobLauncher是任務啟動器，通過它來啟動任務，可以看做是程式的入口。
• Job代表著一個具體的任務。
• Step代表著一個具體的步驟，一個Job可以包含多個Step。
• JobRepository是儲存資料的地方，可以看做是一個數據庫的介面，在任務執行的時候需要通過它來記錄任務狀態等等資訊。

JobLauncher

JobLauncher是任務啟動器，該介面只有一個run方法：

public interface JobLauncher {
    public JobExecution run(Job job, JobParameters jobParameters) throws JobExecutionAlreadyRunningException, JobRestartException, JobInstanceAlreadyCompleteException, JobParametersInvalidException;
}
 

通過JobLauncher可以在Java程式中呼叫批處理任務，也可以通過命令列或者其他框架（如定時排程框架Quartz、Web後臺框架Spring MVC）中呼叫批處理任務。Spring Batch框架提供了一個JobLauncher的實現類SimpleJobLauncher。

Job

Job代表著一個任務，一個Job與一個或者多個JobInstance相關聯，而一個JobInstance又與一個或者多個JobExecution相關聯：

很多時候，任務並不是執行一次就完了，更多的可能情況是定時執行任務。為區分每次執行的任務，框架使用JobInstance。

如上圖所示，Job是一個EndOfDay（每天最後時刻執行的任務），那麼其中一個JobInstance就代表著2007年5月5日那天執行的任務例項。框架通過在執行JobLauncher.run(Job, JobParameters)方法時傳入的JobParameters來區分是哪一天的任務。

由於2007年5月5日那天執行的任務可能不會一次就執行完成，比如中途被停止，或者出現異常導致中斷，需要多執行幾次才能完成，所以框架使用了JobExecution來表示每次執行的任務。

ItemReader

ItemReader代表著讀操作，其介面如下：

public interface ItemReader<T> {    
    T read() throws Exception, UnexpectedInputException, ParseException, NonTransientResourceException;
}

框架已經提供了多種ItemReader介面的實現類，包括對文字檔案、XML檔案、資料庫、JMS訊息等讀的處理，當然我們也可以自己實現該介面。

ItemProcessor

ItemReader代表著處理操作，其介面如下：

public interface ItemProcessor<I, O> {    
    O process(I item) throws Exception;
}

process方法的形參傳入I型別的物件，通過處理後返回O型的物件。開發者可以實現自己的業務程式碼來對資料進行處理。

ItemWriter

ItemReader代表著寫操作，其介面如下：

public interface ItemWriter<T> {    
    void write(List<? extends T> items) throws Exception;
}

框架已經提供了多種ItemWriter介面的實現類，包括對文字檔案、XML檔案、資料庫、JMS訊息等寫的處理，當然我們也可以自己實現該介面。

JobRepository

JobRepository用於儲存任務執行的狀態資訊，比如什麼時間點執行了什麼任務、任務執行結果如何等等。框架提供了2種實現，一種是通過Map形式儲存在記憶體中，當Java程式重啟後任務資訊也就丟失了，並且在分散式下無法獲取其他節點的任務執行情況；另一種是儲存在資料庫中，並且將資料儲存在下面6張表裡：

• BATCH_JOB_INSTANCE
• BATCH_JOB_EXECUTION_PARAMS
• BATCH_JOB_EXECUTION
• BATCH_STEP_EXECUTION
• BATCH_JOB_EXECUTION_CONTEXT
• BATCH_STEP_EXECUTION_CONTEXT

3、pom.xml配置

<!-- batch依賴，負責批處理  -->
<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-batch</artifactId>
</dependency>