1. 程式人生 > 實用技巧 >Java執行緒池執行器ThreadPoolExecutor工作原理(轉載)

Java執行緒池執行器ThreadPoolExecutor工作原理(轉載)

一、構造方法及其引數
ThreadPoolExecutor位於java.util.concurrent包,有4個帶引數的構造方法。最終被呼叫的構造方法如下。其他構造方法只是提供了預設的ThreadFactory或者RejectedExecutionHandler作為引數。

1 public ThreadPoolExecutor(int corePoolSize,
2                 int maximumPoolSize,
3                 long keepAliveTime,
4                 TimeUnit unit,
5                
BlockingQueue<Runnable> workQueue, 6                 ThreadFactory threadFactory, 7                 RejectedExecutionHandler handler)


構造方法引數解析:

1. int corePoolSize
此引數字面上的意思是核心執行緒的數量。在public void execute(Runnable command)方法中,有以下幾行程式碼:

1 if (workerCountOf(c) < corePoolSize) {
2 if (addWorker(command, true
)) 3 return; 4 }

其中workerCountOf(c)方法返回的是當前正在執行的執行緒數,addWorker(command,true)方法的功能則是啟動一個新的執行緒以執行command。
可見,當有新任務來到,當前執行的執行緒數少於corePoolSize的時候,ThreadPoolExecutor二話不說就啟動一個新的執行緒來執行這個任務。

2.int maximumPoolSize
最大可執行的執行緒數量。 在addWorker方法中:

 1 private boolean addWorker(Runnable firstTask, boolean core) {
 2
... 3 int wc = workerCountOf(c); 4 if (wc >= CAPACITY || 5 wc >= (core ? corePoolSize : maximumPoolSize)) 6 return false; 7 ... 8 ... 9 } 10 addWorker的功能是建立新的執行緒並執行。 11 從上面的程式碼可見,噹噹前執行的執行緒數量大於等於maximumPoolSize時,ThreadPoolExecutor將不會再建立新的執行緒。 12 13 3.long keepAliveTime 14 private Runnable getTask() { 15 boolean timedOut = false; // Did the last poll() time out? 16 for (;;) { 17 ... 18 int wc = workerCountOf(c); 19 boolean timed = allowCoreThreadTimeOut || wc > corePoolSize; 20 ... 21 22 Runnable r = timed ? 23 workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) : 24 workQueue.take(); 25 ... 26 } 27 }

執行緒池中的執行緒執行完上一個任務之後,將會通過getTask方法獲取下一個任務來執行。即從構造方法中的BlockingQueue<Runnable> workQueue引數--阻塞佇列中獲取。
從上面的程式碼中可知,當timed為true的時候,keepAliveTime才起作用。而timed在兩種情況下才為true:1.當前執行的執行緒數量大於核心執行緒的數量。2.allowCoreThreadTimeOut為true(此變數可通過public void allowCoreThreadTimeOut(boolean value)方法設定),即設定核心執行緒也受等待時長限制。
所以keepAliveTime的作用是,當前執行緒執行完這個任務之後,等待下一個任務到來的最長等待時間。如果在這個時間內沒有新的任務來到,那當前執行緒就會退出。前提是滿足兩個上面說的兩個條件。
4.其他引數
TimeUnit unit : keepAliveTime的時間單位。詳見TimeUnit類說明。

BlockingQueue<Runnable> workQueue : 阻塞佇列,用於存放待執行的任務。

ThreadFactory threadFactory : 為Runnable任務建立執行緒的介面,實現可參照ThreadPoolExecutor的內部類DefaultThreadFactory。
RejectedExecutionHandler handler : java.util.concurrent包下的回撥介面,當用戶傳入的任務無法被接收時,此介面的rejectedExecution方法會被呼叫。

二、主要方法及邏輯
ThreadPoolExecutor的主要邏輯寫在public void execute(Runnable command)方法中:

 1 public void execute(Runnable command) {
 2 if (command == null)
 3 throw new NullPointerException();
 4 int c = ctl.get();
 5 if (workerCountOf(c) < corePoolSize) {
 6 if (addWorker(command, true))
 7 return;
 8 c = ctl.get();
 9 }
10 if (isRunning(c) && workQueue.offer(command)) {
11 int recheck = ctl.get();
12 if (! isRunning(recheck) && remove(command))
13 reject(command);
14 else if (workerCountOf(recheck) == 0)
15 addWorker(null, false);
16 }
17 else if (!addWorker(command, false))
18 reject(command);
19 }

前面說了,workerCountOf(c)方法可以獲取當前正在執行的執行緒數,那我們進到該方法看看:

1 private static int workerCountOf(int c)  { return c & CAPACITY; }
2 private static final int COUNT_BITS = Integer.SIZE - 3;
3 private static final int CAPACITY   = (1 << COUNT_BITS) - 1;

所以整數c的後28位存放著當前執行執行緒的數量?要驗證這個問題,我們先看看c是從哪裡來的:int c = ctl.get(); ,那ctl又是什麼?
private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
原來ctl是一個提供原子級操作的整數,關於AtomicInteger大家可以百度下,此處我們就當它是一個整數。其初始值為ctlOf(RUNNINT,0),這個又是什麼方法?

1 private static int ctlOf(int rs, int wc) { return rs | wc; }
2 private static final int RUNNING    = -1 << COUNT_BITS;
3 private static final int SHUTDOWN   =  0 << COUNT_BITS;
4 private static final int STOP       =  1 << COUNT_BITS;
5 private static final int TIDYING    =  2 << COUNT_BITS;
6 private static final int TERMINATED =  3 << COUNT_BITS;

看到這裡就明瞭了,原來整數c的前4位存放ThreadPoolExecutor的執行狀態,後28位存放執行執行緒的數量。那為什麼要把這兩個數打包到一起呢?這個問題我們後面再看。

所以當workerCountOf(c) < corePoolSize時,我們會進入到addWorker方法:

 1 private boolean addWorker(Runnable firstTask, boolean core) {
 2 retry:
 3 for (;;) {
 4 int c = ctl.get();//當前執行執行緒的數量
 5 int rs = runStateOf(c);//當前執行狀態
 6 
 7 // Check if queue empty only if necessary.
 8 if (rs >= SHUTDOWN &&
 9 ! (rs == SHUTDOWN &&
10 firstTask == null &&
11 ! workQueue.isEmpty())) //當前的執行狀態不為RUNNING,或者在SHUTDOWN狀態下(不接受新任務但是會執行完佇列中的任務),否則返回false
12 return false;
13 
14 for (;;) {
15 int wc = workerCountOf(c);//再檢查一遍當前執行的執行緒數
16 if (wc >= CAPACITY ||
17 wc >= (core ? corePoolSize : maximumPoolSize))//執行緒的數量不能大於最大容量。如果該任務標記為核心任務,那執行緒的數量不能大於corePoolSize,不然的話不能大於maximunPoolSize,否則返回false
18 return false;
19 if (compareAndIncrementWorkerCount(c))//將執行緒數量加1,如果增加成功,則退出迴圈,執行後面的程式碼。失敗一般都是因為執行緒數不同步。
20 break retry;
21 c = ctl.get(); // Re-read ctl
22 if (runStateOf(c) != rs)//再檢查一遍執行狀態,如果執行狀態改變了,將從外迴圈開頭開始執行,再次確認能否新增任務。
23 continue retry;
24 // else CAS failed due to workerCount change; retry inner loop<pre name="code" class="java">//如果程式執行到這裡,是因為執行緒數加1失敗但是執行狀態沒有發生改變,此時會再執行內迴圈驗證執行緒數。
25 } } 
26 //下面的程式碼功能是建立新的Worker例項 
27 boolean workerStarted = false;//執行緒是否啟動 
28 boolean workerAdded = false;//Worker是否已新增到Set中 
29 Worker w = null; 
30 try { w = new Worker(firstTask); 
31 final Thread t = w.thread;//Worker例項中存放了一個Thread 
32 if (t != null) { 
33 final ReentrantLock mainLock = this.mainLock; 
34 mainLock.lock(); 
35 try { // Recheck while holding lock. 
36 // Back out on ThreadFactory failure or if 
37 // shut down before lock acquired. 
38 int rs = runStateOf(ctl.get()); 
39 if (rs < SHUTDOWN || (rs == SHUTDOWN && firstTask == null)) {//再次檢查執行狀態,邏輯就不說了,和上面的相同 
40 if (t.isAlive()) // precheck that t is startable 
41 throw new IllegalThreadStateException(); 
42 workers.add(w); 
43 int s = workers.size(); 
44 if (s > largestPoolSize)//這裡應該是統計,沒有實際作用 
45 largestPoolSize = s; workerAdded = true; 
46 } 
47 } finally { 
48 mainLock.unlock(); 
49 }
50 if (workerAdded) { 
51 t.start();//啟動新執行緒 
52 workerStarted = true; 
53 } 
54 } 
55 } finally {
56 if (! workerStarted)//如果啟動執行緒失敗 
57 addWorkerFailed(w); 
58 } 
59 return workerStarted; 
60 }

看來addWorker方法的大致功能就是建立一個新Worker例項,並執行Worker例項中的執行緒。
所以如果addWorker執行成功,則execute方法將直接返回。
如果addWorker執行失敗,即不能為該任務建立一個新的執行緒。那麼execute方法將嘗試把這個方法放到阻塞佇列中。即workQueue.offer(command)。如果offer成功,將再次檢查執行狀態和當前執行的執行緒數量,保證這兩個值沒有在offer期間發生改變。如果當前狀態不是RUNNING,將拒絕這個任務。如果當前執行的執行緒數量為0,則執行addWorker(null, false);。這又是什麼意思?為什麼引數是null?
我們回到addWorker方法看一下。在建立Worker方法的時候,並沒有判斷Runnable是否為null。那它是怎麼執行的?我們再看看Woker類

1 Worker(Runnable firstTask) {
2 setState(-1); // inhibit interrupts until runWorker
3 this.firstTask = firstTask;
4 this.thread = getThreadFactory().newThread(this);
5 }

原來Worker類初始化執行緒變數的時候傳入的Runnable不是我們傳入的引數,而是它自己。我們在看看它自己的run方法。

 1 /** Delegates main run loop to outer runWorker. */
 2 public void run() {
 3 runWorker(this);
 4 }
 5 final void runWorker(Worker w) {
 6         Thread wt = Thread.currentThread();
 7         Runnable task = w.firstTask;//Worker構造方法中的引數在這裡
 8         w.firstTask = null;
 9         w.unlock(); // allow interrupts
10         boolean completedAbruptly = true;
11         try {
12             while (task != null || (task = getTask()) != null) {//當task為null時,嘗試獲取阻塞佇列中的任務
13                 w.lock();
14                 // If pool is stopping, ensure thread is interrupted;
15                 // if not, ensure thread is not interrupted.  This
16                 // requires a recheck in second case to deal with
17                 // shutdownNow race while clearing interrupt
18                 if ((runStateAtLeast(ctl.get(), STOP) ||
19                      (Thread.interrupted() &&
20                       runStateAtLeast(ctl.get(), STOP))) &&
21                     !wt.isInterrupted())
22                     wt.interrupt();
23                 try {
24                     beforeExecute(wt, task);
25                     Throwable thrown = null;
26                     try {
27                         task.run();//執行任務
28                     } ... finally {
29                         afterExecute(task, thrown);
30                     }
31                 } finally {
32                     task = null;
33                     w.completedTasks++;
34                     w.unlock();
35                 }
36             }
37             completedAbruptly = false;
38         } finally {
39             processWorkerExit(w, completedAbruptly);
40         }
41     }
42 private Runnable getTask() {
43         boolean timedOut = false; // Did the last poll() time out?
44         for (;;) {
45             int c = ctl.get();
46             int rs = runStateOf(c);
47             // Check if queue empty only if necessary.
48             if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
49                 decrementWorkerCount();
50                 return null;
51             }
52             int wc = workerCountOf(c);
53             // Are workers subject to culling?
54             boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
55             if ((wc > maximumPoolSize || (timed && timedOut))
56                 && (wc > 1 || workQueue.isEmpty())) {
57                 if (compareAndDecrementWorkerCount(c))
58                     return null;
59                 continue;
60             }
61             try {
62                 Runnable r = timed ?
63                     workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
64                     workQueue.take();
65                 if (r != null)
66                     return r;//這裡返回阻塞佇列的Runnable。此處邏輯在前面的keepAliveTime中已講過。
67                 timedOut = true;
68             } catch (InterruptedException retry) {
69                 timedOut = false;
70             }
71         }
72     }

到這裡就明白了。噹噹前執行的執行緒數為0時,呼叫addWorker(null,false)時,將建立一個新的執行緒去取阻塞佇列中的任務來執行。


最後,execute方法中,如果呼叫offer在阻塞佇列存入任務失敗,將呼叫addWorker(command, false)嘗試啟動一個非核心執行緒來執行任務。如果啟動失敗,此任務將被拒絕。

3.總結
所以,ThreadPoolExecutor的主要邏輯是,當用戶呼叫execute(Runnable command) ,大致邏輯如下(注意是大致邏輯,程式碼中的邏輯更復雜更詳細):
1.檢視當前執行狀態,如果不是RUNNING狀態,將直接拒絕新任務。否則進入步驟2。
2.檢視當前執行執行緒的數量,如果數量少於核心執行緒數,將直接建立新的執行緒執行該任務。否則進入步驟3。
3.將該任務新增到阻塞佇列,等待核心執行緒執行完上一個任務再來獲取。如果新增到阻塞佇列失敗,進入步驟4。
4.嘗試建立一個非核心執行緒執行該任務,前提是執行緒的數量少於等於最大執行緒數。如果失敗,拒絕該任務。

所以使用ThreadPoolExecutor需要注意下面幾點:
1.allowCoreThreadTimeOut預設為false,如果不設定為true,那已被建立的少於等於核心執行緒數量的執行緒,將一直存在,處於執行狀態或者阻塞在workQueue.take()中。
2.當前執行的執行緒數等於核心執行緒數了,任務才會被加入佇列,當佇列滿了,才會建立非核心執行緒。所以如果使用LinkedBlockingQueue,那麼佇列將不會滿,非核心執行緒不會被建立。
3.如果佇列滿了,當前執行的執行緒數也達到最大執行緒數了,那麼新增的任務將被拒絕,即使並沒有發生任何錯誤。所以應該做好被拒絕任務的處理工作。