多線程 fork/join 並行計算
1. 什麽是Fork/Join框架
Fork/Join框架是Java7提供了的一個用於並行執行任務的框架， 是一個把大任務分割成若幹個小任務，最終匯總每個小任務結果後得到大任務結果的框架。
我們再通過Fork和Join這兩個單詞來理解下Fork/Join框架，Fork就是把一個大任務切分為若幹子任務並行的執行，Join就是合並這些子任務的執行結果，最後得到這個大任務的結果。比如計算1+2+...＋10000，可以分割成10個子任務，每個子任務分別對1000個數進行求和，最終匯總這10個子任務的結果。Fork/Join的運行流程圖如下：
2. 工作竊取算法
工作竊取（work-stealing）算法是指某個線程從其他隊列裏竊取任務來執行。工作竊取的運行流程圖如下：
那麽為什麽需要使用工作竊取算法呢？假如我們需要做一個比較大的任務，我們可以把這個任務分割為若幹互不依賴的子任務，為了減少線程間的競爭，於是把這些子任務分別放到不同的隊列裏，並為每個隊列創建一個單獨的線程來執行隊列裏的任務，線程和隊列一一對應，比如A線程負責處理A隊列裏的任務。但是有的線程會先把自己隊列裏的任務幹完，而其他線程對應的隊列裏還有任務等待處理。幹完活的線程與其等著，不如去幫其他線程幹活，於是它就去其他線程的隊列裏竊取一個任務來執行。而在這時它們會訪問同一個隊列，所以為了減少竊取任務線程和被竊取任務線程之間的競爭，通常會使用雙端隊列，被竊取任務線程永遠從雙端隊列的頭部拿任務執行，而竊取任務的線程永遠從雙端隊列的尾部拿任務執行。
工作竊取算法的優點是充分利用線程進行並行計算，並減少了線程間的競爭，其缺點是在某些情況下還是存在競爭，比如雙端隊列裏只有一個任務時。並且消耗了更多的系統資源，比如創建多個線程和多個雙端隊列。
3. Fork/Join框架的介紹
我們已經很清楚Fork/Join框架的需求了，那麽我們可以思考一下，如果讓我們來設計一個Fork/Join框架，該如何設計？這個思考有助於你理解Fork/Join框架的設計。
第一步分割任務。首先我們需要有一個fork類來把大任務分割成子任務，有可能子任務還是很大，所以還需要不停的分割，直到分割出的子任務足夠小。
第二步執行任務並合並結果。分割的子任務分別放在雙端隊列裏
Fork/Join使用兩個類來完成以上兩件事情：
- ForkJoinTask：我們要使用ForkJoin框架，必須首先創建一個ForkJoin任務。它提供在任務中執行fork()和join()操作的機制，通常情況下我們不需要直接繼承ForkJoinTask類，而只需要繼承它的子類，Fork/Join框架提供了以下兩個子類：
- RecursiveAction：用於沒有返回結果的任務。
- RecursiveTask ：用於有返回結果的任務。
- ForkJoinPool ：ForkJoinTask需要通過ForkJoinPool來執行，任務分割出的子任務會添加到當前工作線程所維護的雙端隊列中，進入隊列的頭部。當一個工作線程的隊列裏暫時沒有任務時，它會隨機從其他工作線程的隊列的尾部獲取一個任務。
4.代碼示例：
package heapStark.blogCode.concurrent.forkJoin; import java.util.concurrent.RecursiveTask; /** * Created by wangzhilei3 on 2017/12/19. */ public class SumTask extends RecursiveTask<Integer> { private int start; private int end; public SumTask(int start, int end) { this.start = start; this.end = end; } @Override protected Integer compute() { System.out.println(Thread.currentThread().getName()); if (start==end){ return start; }else if (end-start==1){ return end+start; }else { SumTask left = new SumTask(start,(start+end)/2); SumTask right = new SumTask((start+end)/2+1,end); left.fork(); right.fork(); return left.join()+right.join(); } } } /** * fork join Test */ @Test public void forkJoinTest() { ForkJoinPool pool = new ForkJoinPool(); SumTask sumTask = new SumTask(1, 10); Future<Integer> future = pool.submit(sumTask); try { assert (future.get() == 55); } catch (InterruptedException | ExecutionException e) { e.printStackTrace(); } }
5.異常處理：
ForkJoinTask在執行的時候可能會拋出異常，但是我們沒辦法在主線程裏直接捕獲異常，所以ForkJoinTask提供了isCompletedAbnormally()方法來檢查任務是否已經拋出異常或已經被取消了，並且可以通過ForkJoinTask的getException方法獲取異常。使用如下代碼：
if (sumTask.isCompletedAbnormally()){ System.out.println();sumTask.getException(); }
6. Fork/Join框架的實現原理
RecursiveTask繼承關系：
RecursiveTask為一個ForkJoinTask,最上層實現為Future。
ForkJoinWorkerThread為對應的工作線程，ForkJoinWorkerThread持有一個對應的ForkJoinPool ，和一個對應的workQueue。
final ForkJoinPool pool; // the pool this thread works in
final ForkJoinPool.WorkQueue workQueue; // work-stealing mechanics
ForkJoinPool為：
ForkJoinPool由ForkJoinTask數組（final ForkJoinPool.WorkQueue workQueue）和ForkJoinWorkerThread數組組成，ForkJoinTask數組負責存放程序提交給ForkJoinPool的任務，而ForkJoinWorkerThread數組負責執行這些任務。
ForkJoinTask的fork方法實現原理。當我們調用ForkJoinTask的fork方法時，程序會調用ForkJoinWorkerThread的pushTask方法異步的執行這個任務，然後立即返回結果。代碼如下：
public final ForkJoinTask<V> fork() { Thread t; if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) // 將任務添加到workQueue中 ((ForkJoinWorkerThread)t).workQueue.push(this); else ForkJoinPool.common.externalPush(this); return this; }
final ForkJoinPool.WorkQueue workQueue;
final void push(ForkJoinTask<?> task) { ForkJoinTask<?>[] a; ForkJoinPool p; int b = base, s = top, n; if ((a = array) != null) { // ignore if queue removed int m = a.length - 1; // fenced write for task visibility U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task); U.putOrderedInt(this, QTOP, s + 1); if ((n = s - b) <= 1) { if ((p = pool) != null) p.signalWork(p.workQueues, this); } else if (n >= m) growArray(); } }
pushTask方法把當前任務存放在ForkJoinTask 數組queue裏。然後再調用ForkJoinPool的signalWork()方法喚醒或創建一個工作線程來執行任務。代碼如下：
ForkJoinTask的join方法實現原理。Join方法的主要作用是阻塞當前線程並等待獲取結果。讓我們一起看看ForkJoinTask的join方法的實現，代碼如下：
public final V join() { int s; if ((s = doJoin() & DONE_MASK) != NORMAL) reportException(s); return getRawResult(); }
首先，它調用了doJoin()方法，通過doJoin()方法得到當前任務的狀態來判斷返回什麽結果，任務狀態有四種：已完成（NORMAL），被取消（CANCELLED），信號（SIGNAL）和出現異常（EXCEPTIONAL）。
- 如果任務狀態是已完成，則直接返回任務結果。
- 如果任務狀態是被取消，則直接拋出CancellationException。
- 如果任務狀態是拋出異常，則直接拋出對應的異常。
讓我們再來分析下doJoin()方法的實現代碼：
private int doJoin() {
int s; Thread t; ForkJoinWorkerThread wt; ForkJoinPool.WorkQueue w;
return (s = status) < 0 ? s :
((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) ?
(w = (wt = (ForkJoinWorkerThread)t).workQueue).
tryUnpush(this) && (s = doExec()) < 0 ? s :
wt.pool.awaitJoin(w, this, 0L) :
externalAwaitDone();
}
在doJoin()方法裏，首先通過查看任務的狀態，看任務是否已經執行完了，如果執行完了，則直接返回任務狀態，如果沒有執行完，則從任務數組裏取出任務並執行。如果任務順利執行完成了，則設置任務狀態為NORMAL，如果出現異常，則紀錄異常，並將任務狀態設置為EXCEPTIONAL。
多線程 fork/join 並行計算