1. 程式人生 > 實用技巧 >Spring使用@Async註解,多執行緒

Spring使用@Async註解,多執行緒

@Async註解的原理及使用

本文講述@Async註解,在Spring體系中的應用。本文僅說明@Async註解的應用規則,對於原理,呼叫邏輯,原始碼分析,暫不介紹。對於非同步方法呼叫,從Spring3開始提供了@Async註解,該註解可以被標註在方法上,以便非同步地呼叫該方法。呼叫者將在呼叫時立即返回,方法的實際執行將提交給Spring TaskExecutor的任務中,由指定的執行緒池中的執行緒執行。

在專案應用中,@Async呼叫執行緒池,推薦使用自定義執行緒池的模式。自定義執行緒池常用方案:重新實現介面AsyncConfigurer。

簡介

應用場景

同步:同步就是整個處理過程順序執行,當各個過程都執行完畢,並返回結果。

非同步:非同步呼叫則是隻是傳送了呼叫的指令,呼叫者無需等待被呼叫的方法完全執行完畢;而是繼續執行下面的流程。例如, 在某個呼叫中,需要順序呼叫 A, B, C三個過程方法;如他們都是同步呼叫,則需要將他們都順序執行完畢之後,方算作過程執行完畢; 如B為一個非同步的呼叫方法,則在執行完A之後,呼叫B,並不等待B完成,而是執行開始呼叫C,待C執行完畢之後,就意味著這個過程執行完畢了。在Java中,一般在處理類似的場景之時,都是基於建立獨立的執行緒去完成相應的非同步呼叫邏輯,通過主執行緒和不同的業務子執行緒之間的執行流程,從而在啟動獨立的執行緒之後,主執行緒繼續執行而不會產生停滯等待的情況。

Spring
已經實現的執行緒池

1. SimpleAsyncTaskExecutor:不是真的執行緒池,這個類不重用執行緒,預設每次呼叫都會建立一個新的執行緒。
2. SyncTaskExecutor:這個類沒有實現非同步呼叫,只是一個同步操作。只適用於不需要多執行緒的地方。
3. ConcurrentTaskExecutor:Executor的適配類,不推薦使用。如果ThreadPoolTaskExecutor不滿足要求時,才用考慮使用這個類。
4. SimpleThreadPoolTaskExecutor:是Quartz的SimpleThreadPool的類。執行緒池同時被quartz和非quartz使用,才需要使用此類。

5. ThreadPoolTaskExecutor :最常使用,推薦。 其實質是對java.util.concurrent.ThreadPoolExecutor的包裝。

非同步的方法有:

1. 最簡單的非同步呼叫,返回值為void
2. 帶引數的非同步呼叫,非同步方法可以傳入引數
3. 存在返回值,常呼叫返回Future

Spring中啟用@Async

 1 // 基於Java配置的啟用方式:
 2 @Configuration  
 3 @EnableAsync  
 4 public class SpringAsyncConfig { ... }  
 5 
 6 // Spring boot啟用:
 7 @EnableAsync
 8 @EnableTransactionManagement
 9 public class SettlementApplication {
10     public static void main(String[] args) {
11         SpringApplication.run(SettlementApplication.class, args);
12     }
13 }

@Async應用預設執行緒池

Spring應用預設的執行緒池,指在@Async註解在使用時,不指定執行緒池的名稱。檢視原始碼,@Async的預設執行緒池為SimpleAsyncTaskExecutor

  • 無返回值呼叫

基於@Async無返回值呼叫,直接在使用類,使用方法(建議在使用方法)上,加上註解。若需要丟擲異常,需手動new一個異常丟擲。

 1  /**
 2      * 帶引數的非同步呼叫 非同步方法可以傳入引數
 3      *  對於返回值是void,異常會被AsyncUncaughtExceptionHandler處理掉
 4      * @param s
 5      */
 6     @Async
 7     public void asyncInvokeWithException(String s) {
 8         log.info("asyncInvokeWithParameter, parementer={}", s);
 9         throw new IllegalArgumentException(s);
10     }
  • 有返回值Future呼叫
 1  /**
 2      * 異常呼叫返回Future
 3      *  對於返回值是Future,不會被AsyncUncaughtExceptionHandler處理,需要我們在方法中捕獲異常並處理
 4      *  或者在呼叫方在呼叫Futrue.get時捕獲異常進行處理
 5      * 
 6      * @param i
 7      * @return
 8      */
 9     @Async
10     public Future<String> asyncInvokeReturnFuture(int i) {
11         log.info("asyncInvokeReturnFuture, parementer={}", i);
12         Future<String> future;
13         try {
14             Thread.sleep(1000 * 1);
15             future = new AsyncResult<String>("success:" + i);
16             throw new IllegalArgumentException("a");
17         } catch (InterruptedException e) {
18             future = new AsyncResult<String>("error");
19         } catch(IllegalArgumentException e){
20             future = new AsyncResult<String>("error-IllegalArgumentException");
21         }
22         return future;
23     }
  • 有返回值CompletableFuture呼叫

CompletableFuture並不使用@Async註解,可達到呼叫系統執行緒池處理業務的功能。

JDK5新增了Future介面,用於描述一個非同步計算的結果。雖然 Future 以及相關使用方法提供了非同步執行任務的能力,但是對於結果的獲取卻是很不方便,只能通過阻塞或者輪詢的方式得到任務的結果。阻塞的方式顯然和我們的非同步程式設計的初衷相違背,輪詢的方式又會耗費無謂的 CPU 資源,而且也不能及時地得到計算結果。

  • CompletionStage代表非同步計算過程中的某一個階段,一個階段完成以後可能會觸發另外一個階段

  • 一個階段的計算執行可以是一個Function,Consumer或者Runnable。比如:stage.thenApply(x -> square(x)).thenAccept(x -> System.out.print(x)).thenRun(() -> System.out.println())

  • 一個階段的執行可能是被單個階段的完成觸發,也可能是由多個階段一起觸發

在Java8中,CompletableFuture提供了非常強大的Future的擴充套件功能,可以幫助我們簡化非同步程式設計的複雜性,並且提供了函數語言程式設計的能力,可以通過回撥的方式處理計算結果,也提供了轉換和組合 CompletableFuture 的方法。

  • 它可能代表一個明確完成的Future,也有可能代表一個完成階段( CompletionStage ),它支援在計算完成以後觸發一些函式或執行某些動作。
  • 它實現了Future和CompletionStage介面
 1  /**
 2      * 資料查詢執行緒池
 3      */
 4     private static final ThreadPoolExecutor SELECT_POOL_EXECUTOR = new ThreadPoolExecutor(10, 20, 5000,
 5             TimeUnit.MILLISECONDS, new LinkedBlockingQueue<>(1024), new ThreadFactoryBuilder().setNameFormat("selectThreadPoolExecutor-%d").build());
 6 
 7 // tradeMapper.countTradeLog(tradeSearchBean)方法表示,獲取數量,返回值為int
 8  // 獲取總條數
 9         CompletableFuture<Integer> countFuture = CompletableFuture
10                 .supplyAsync(() -> tradeMapper.countTradeLog(tradeSearchBean), SELECT_POOL_EXECUTOR);
11 // 同步阻塞
12     CompletableFuture.allOf(countFuture).join();
13 // 獲取結果
14  int count = countFuture.get();       
  • 預設執行緒池的弊端

線上程池應用中,參考阿里巴巴java開發規範:執行緒池不允許使用Executors去建立,不允許使用系統預設的執行緒池,推薦通過ThreadPoolExecutor的方式,這樣的處理方式讓開發的工程師更加明確執行緒池的執行規則,規避資源耗盡的風險。Executors各個方法的弊端:

  • newFixedThreadPool和newSingleThreadExecutor:主要問題是堆積的請求處理佇列可能會耗費非常大的記憶體,甚至OOM。
  • newCachedThreadPool和newScheduledThreadPool:要問題是執行緒數最大數是Integer.MAX_VALUE,可能會建立數量非常多的執行緒,甚至OOM。

@Async預設非同步配置使用的是SimpleAsyncTaskExecutor,該執行緒池預設來一個任務建立一個執行緒,若系統中不斷的建立執行緒,最終會導致系統佔用記憶體過高,引發OutOfMemoryError錯誤。針對執行緒建立問題,SimpleAsyncTaskExecutor提供了限流機制,通過concurrencyLimit屬性來控制開關,當concurrencyLimit>=0時開啟限流機制,預設關閉限流機制即concurrencyLimit=-1,當關閉情況下,會不斷建立新的執行緒來處理任務。基於預設配置,SimpleAsyncTaskExecutor並不是嚴格意義的執行緒池,達不到執行緒複用的功能。

@Async應用自定義執行緒池

自定義執行緒池,可對系統中執行緒池更加細粒度的控制,方便調整執行緒池大小配置,執行緒執行異常控制和處理。在設定系統自定義執行緒池代替預設執行緒池時,雖可通過多種模式設定,但替換預設執行緒池最終產生的執行緒池有且只能設定一個(不能設定多個類繼承AsyncConfigurer)。自定義執行緒池有如下模式:

  • 重新實現介面AsyncConfigurer
  • 繼承AsyncConfigurerSupport
  • 配置由自定義的TaskExecutor替代內建的任務執行器

通過檢視Spring原始碼關於@Async的預設呼叫規則,會優先查詢原始碼中實現AsyncConfigurer這個介面的類,實現這個介面的類為AsyncConfigurerSupport。但預設配置的執行緒池和非同步處理方法均為空,所以,無論是繼承或者重新實現介面,都需指定一個執行緒池。且重新實現public Executor getAsyncExecutor()方法。

  • 實現介面AsyncConfigurer

 1 @Configuration
 2 public class AsyncConfiguration implements AsyncConfigurer {
 3     @Bean("kingAsyncExecutor")
 4     public ThreadPoolTaskExecutor executor() {
 5         ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
 6         int corePoolSize = 10;
 7         executor.setCorePoolSize(corePoolSize);
 8         int maxPoolSize = 50;
 9         executor.setMaxPoolSize(maxPoolSize);
10         int queueCapacity = 10;
11         executor.setQueueCapacity(queueCapacity);
12         executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
13         String threadNamePrefix = "kingDeeAsyncExecutor-";
14         executor.setThreadNamePrefix(threadNamePrefix);
15         executor.setWaitForTasksToCompleteOnShutdown(true);
16         // 使用自定義的跨執行緒的請求級別執行緒工廠類
17         RequestContextThreadFactory threadFactory = RequestContextThreadFactory.getDefault();
18         executor.setThreadFactory(threadFactory);
19         int awaitTerminationSeconds = 5;
20         executor.setAwaitTerminationSeconds(awaitTerminationSeconds);
21         executor.initialize();
22         return executor;
23     }
24 
25     @Override
26     public Executor getAsyncExecutor() {
27         return executor();
28     }
29 
30     @Override
31     public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
32         return (ex, method, params) -> ErrorLogger.getInstance().log(String.format("執行非同步任務'%s'", method), ex);
33     }
34 }
  • 繼承AsyncConfigurerSupport

@Configuration  
@EnableAsync  
class SpringAsyncConfigurer extends AsyncConfigurerSupport {  
  
    @Bean  
    public ThreadPoolTaskExecutor asyncExecutor() {  
        ThreadPoolTaskExecutor threadPool = new ThreadPoolTaskExecutor();  
        threadPool.setCorePoolSize(3);  
        threadPool.setMaxPoolSize(3);  
        threadPool.setWaitForTasksToCompleteOnShutdown(true);  
        threadPool.setAwaitTerminationSeconds(60 * 15);  
        return threadPool;  
    }  
  
    @Override  
    public Executor getAsyncExecutor() {  
        return asyncExecutor;  
}  

  @Override  
    public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
    return (ex, method, params) -> ErrorLogger.getInstance().log(String.format("執行非同步任務'%s'", method), ex);
}
} 
  • 配置自定義的TaskExecutor

由於AsyncConfigurer的預設執行緒池在原始碼中為空,Spring通過beanFactory.getBean(TaskExecutor.class)先檢視是否有執行緒池,未配置時,通過beanFactory.getBean(DEFAULT_TASK_EXECUTOR_BEAN_NAME, Executor.class),又查詢是否存在預設名稱為TaskExecutor的執行緒池。所以可在專案中,定義名稱為TaskExecutor的bean生成一個預設執行緒池。也可不指定執行緒池的名稱,申明一個執行緒池,本身底層是基於TaskExecutor.class便可。

比如:

Executor.class:ThreadPoolExecutorAdapter->ThreadPoolExecutor->AbstractExecutorService->ExecutorService->Executor(這樣的模式,最終底層為Executor.class,在替換預設的執行緒池時,需設定預設的執行緒池名稱為TaskExecutor)
TaskExecutor.class:ThreadPoolTaskExecutor->SchedulingTaskExecutor->AsyncTaskExecutor->TaskExecutor(這樣的模式,最終底層為TaskExecutor.class,在替換預設的執行緒池時,可不指定執行緒池名稱。)
 1 @EnableAsync
 2 @Configuration
 3 public class TaskPoolConfig {
 4     @Bean(name = AsyncExecutionAspectSupport.DEFAULT_TASK_EXECUTOR_BEAN_NAME)
 5     public Executor taskExecutor() {
 6         ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
 7          //核心執行緒池大小
 8         executor.setCorePoolSize(10);
 9         //最大執行緒數
10         executor.setMaxPoolSize(20);
11         //佇列容量
12         executor.setQueueCapacity(200);
13         //活躍時間
14         executor.setKeepAliveSeconds(60);
15         //執行緒名字字首
16         executor.setThreadNamePrefix("taskExecutor-");
17         executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
18         return executor;
19     }
      @Bean(name = "new_task")
 5     public Executor taskExecutor() {
 6         ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
 7          //核心執行緒池大小
 8         executor.setCorePoolSize(10);
 9         //最大執行緒數
10         executor.setMaxPoolSize(20);
11         //佇列容量
12         executor.setQueueCapacity(200);
13         //活躍時間
14         executor.setKeepAliveSeconds(60);
15         //執行緒名字字首
16         executor.setThreadNamePrefix("taskExecutor-");
17         executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
18         return executor;
19     }
20 }
  • 多個執行緒池

@Async註解,使用系統預設或者自定義的執行緒池(代替預設執行緒池)。可在專案中設定多個執行緒池,在非同步呼叫時,指明需要呼叫的執行緒池名稱,如@Async("new_task")。

@Async部分重要原始碼解析

原始碼-獲取執行緒池方法

原始碼-設定預設執行緒池defaultExecutor,預設是空的,當重新實現介面AsyncConfigurer的getAsyncExecutor()時,可以設定預設的執行緒池。

原始碼-尋找系統預設執行緒池

原始碼-都沒有找到專案中設定的預設執行緒池時,採用spring 預設的執行緒池

本文摘自https://www.cnblogs.com/wlandwl/p/async.html

本人為了研究使用多執行緒優化程式碼,所以摘抄無涯大哥的隨筆,只是想做下記錄,感謝無涯大哥.