1. 程式人生 > >Spring batch 入門基礎

Spring batch 入門基礎

clas 環境 html 日誌 過程 容易 計劃 bre .html

Spring Batch是一個輕量級的,完全面向Spring的批處理框架,可以應用於企業級大量的數據處理系統。Spring Batch以POJO和大家熟知的Spring框架為基礎,使開發者更容易的訪問和利用企業級服務。Spring Batch可以提供大量的,可重復的數據處理功能,包括日誌記錄/跟蹤,事務管理,作業處理統計工作重新啟動、跳過,和資源管理等重要功能。

業務方案:

  1. 批處理定期提交。
  2. 並行批處理:並行處理工作。
  3. 企業消息驅動處理
  4. 大規模的並行處理
  5. 手動或是有計劃的重啟
  6. 局部處理:跳過記錄(如:回滾)

技術目標:

  1. 利用Spring編程模型:使程序員專註於業務處理,讓Spring框架管理流程。
  2. 明確分離批處理的執行環境和應用。
  3. 提供核心的,共通的接口。
  4. 提供開箱即用(out of the box)的簡單的默認的核心執行接口。
  5. 提供Spring框架中配置、自定義、和擴展服務。
  6. 所有存在的核心服務可以很容的被替換和擴展,不影響基礎層。
  7. 提供一個簡單的部署模式,利用Maven構建獨立的Jar文件。

Spring Batch的結構:

技術分享圖片

這種分層結構有三個重要的組成部分:應用層、核心層、基礎架構層。應用層包含所有的批處理作業,通過Spring框架管理程序員自定義的代碼。核心層包含了Batch啟動和控制所需要的核心類,如:JobLauncher、Job和step等。應用層和核心層建立在基礎構架層之上,基礎構架層提供共通的讀(ItemReader)、寫(ItemWriter)、和服務(如RetryTemplate:重試模塊。可以被應用層和核心層使用)。

Spring Batch 框架流程簡單介紹

Spring Batch流程介紹:

技術分享圖片

上圖描繪了Spring Batch的執行過程。說明如下:

每個Batch都會包含一個Job。Job就像一個容器,這個容器裏裝了若幹Step,Batch中實際幹活的也就是這些Step,至

於Step幹什麽活,無外乎讀取數據,處理數據,然後將這些數據存儲起來(ItemReader用來讀取數據,ItemProcessor用來處理數據,ItemWriter用來寫數據) 。JobLauncher用來啟動Job,JobRepository是上述處理提供的一種持久化機制,它為JobLauncher,Job,和Step實例提供CRUD操作。

外部控制器調用JobLauncher啟動一個Job,Job調用自己的Step去實現對數據的操作,Step處理完成後,再將處理結果一步步返回給上一層,這就是Batch處理實現的一個簡單流程。

Step執行過程:

技術分享圖片

從DB或是文件中取出數據的時候,read()操作每次只讀取一條記錄,之後將讀取的這條數據傳遞給processor(item)處理,框架將重復做這兩步操作,直到讀取記錄的件數達到batch配置信息中”commin-interval”設定值的時候,就會調用一次write操作。然後再重復上圖的處理,直到處理完所有的數據。當這個Step的工作完成以後,或是跳到其他Step,或是結束處理。

Spring batch 入門基礎