一：JMM基礎與happens-before

1併發程式設計模型的分類

1.1執行緒之間如何通訊及執行緒之間如何同步

1.11執行緒之間的通訊機制

通訊：執行緒之間以何種機制來交換資訊

通訊機制有兩種：共享記憶體和訊息傳遞。

共享記憶體併發模型

執行緒之間共享程式的公共狀態，執行緒間通過寫-讀記憶體中的公共狀態來隱式進行通訊。

訊息傳遞併發模型

執行緒之間沒有公共狀態，執行緒之間必須通過明確的傳送訊息來顯式進行通訊。

1.12同步

 程式用於控制不同執行緒之間操作發生相對順序的機制。

共享記憶體併發模型

同步是顯式進行的，程式設計師必須顯式指定某個方法或某段程式碼需要線上程之間互斥執行。

訊息傳遞併發模型

由於訊息的傳送必須在訊息的接收之前，因此同步是隱式進行的。

1.2Java記憶體模型的抽象

Java的併發採用的是共享記憶體模型，Java執行緒之間的通訊總是隱式進行，整個通訊過程對程式設計師完全透明。如果編寫多執行緒程式的Java程式設計師不理解隱式進行的執行緒之間通訊的工作機制，很可能會遇到各種奇怪的記憶體可見性問題。

在java中，所有例項域，靜態域和陣列元素儲存在堆記憶體中，堆記憶體線上程之間共享（本文使用"共享變數"代指例項域，靜態域和陣列元素）。區域性變數，方法定義引數和異常處理器引數不會線上程之間共享，它們不會有記憶體可見性問題，也不受記憶體模型的影響。

Java執行緒之間的通訊由Java記憶體模型（本文簡稱為JMM）控制，JMM決定一個執行緒對共享變數的寫入何時對另一個執行緒可見。從抽象的角度來看，JMM定義了執行緒和主記憶體之間的抽象關係：執行緒之間的共享變數儲存在主記憶體（main memory）中，每個執行緒都有一個私有的本地記憶體（local memory），本地記憶體中儲存了該執行緒以讀/寫共享變數的副本。本地記憶體是JMM的一個抽象概念，並不真實存在。它涵蓋了快取，寫緩衝區，暫存器以及其他的硬體和編譯器優化。Java記憶體模型的抽象示意圖如下：

從上圖來看，執行緒A與執行緒B之間如要通訊的話，必須要經歷下面2個步驟：

1. 首先，執行緒A把本地記憶體A中更新過的共享變數重新整理到主記憶體中去。
2. 然後，執行緒B到主記憶體中去讀取執行緒A之前已更新過的共享變數。

下面通過示意圖來說明這兩個步驟：

如上圖所示，本地記憶體A和B有主記憶體中共享變數x的副本。假設初始時，這三個記憶體中的x值都為0。執行緒A在執行時，把更新後的x值（假設值為1）臨時存放在自己的本地記憶體A中。當執行緒A和執行緒B需要通訊時，執行緒A首先會把自己本地記憶體中修改後的x值重新整理到主記憶體中，此時主記憶體中的x值變為了1。隨後，執行緒B到主記憶體中去讀取執行緒A更新後的x值，此時執行緒B的本地記憶體的x值也變為了1。

從整體來看，這兩個步驟實質上是執行緒A在向執行緒B傳送訊息，而且這個通訊過程必須要經過主記憶體。JMM通過控制主記憶體與每個執行緒的本地記憶體之間的互動，來為java程式設計師提供記憶體可見性保證。

 重排序

在執行程式時為了提高效能，編譯器和處理器常常會對指令做重排序。重排序分三種類型：

1. 編譯器優化的重排序。編譯器在不改變單執行緒程式語義的前提下，可以重新安排語句的執行順序。
2. 指令級並行的重排序。現代處理器採用了指令級並行技術（Instruction-Level Parallelism， ILP）來將多條指令重疊執行。如果不存在資料依賴性，處理器可以改變語句對應機器指令的執行順序。
3. 記憶體系統的重排序。由於處理器使用快取和讀/寫緩衝區，這使得載入和儲存操作看上去可能是在亂序執行。

從java原始碼到最終實際執行的指令序列，會分別經歷下面三種重排序：

上述的1屬於編譯器重排序，2和3屬於處理器重排序。這些重排序都可能會導致多執行緒程式出現記憶體可見性問題。對於編譯器，JMM的編譯器重排序規則會禁止特定型別的編譯器重排序（不是所有的編譯器重排序都要禁止）。對於處理器重排序，JMM的處理器重排序規則會要求java編譯器在生成指令序列時，插入特定型別的記憶體屏障（memory barriers，intel稱之為memory fence）指令，通過記憶體屏障指令來禁止特定型別的處理器重排序（不是所有的處理器重排序都要禁止）。

JMM屬於語言級的記憶體模型，它確保在不同的編譯器和不同的處理器平臺之上，通過禁止特定型別的編譯器重排序和處理器重排序，為程式設計師提供一致的記憶體可見性保證。

處理器重排序與記憶體屏障指令

現代的處理器使用寫緩衝區來臨時儲存向記憶體寫入的資料。寫緩衝區可以保證指令流水線持續執行，它可以避免由於處理器停頓下來等待向記憶體寫入資料而產生的延遲。同時，通過以批處理的方式重新整理寫緩衝區，以及合併寫緩衝區中對同一記憶體地址的多次寫，可以減少對記憶體匯流排的佔用。雖然寫緩衝區有這麼多好處，但每個處理器上的寫緩衝區，僅僅對它所在的處理器可見。這個特性會對記憶體操作的執行順序產生重要的影響：處理器對記憶體的讀/寫操作的執行順序，不一定與記憶體實際發生的讀/寫操作順序一致！為了具體說明，請看下面示例：

假設處理器A和處理器B按程式的順序並行執行記憶體訪問，最終卻可能得到x = y = 0的結果。具體的原因如下圖所示：

這裡處理器A和處理器B可以同時把共享變數寫入自己的寫緩衝區（A1，B1），然後從記憶體中讀取另一個共享變數（A2，B2），最後才把自己寫快取區中儲存的髒資料重新整理到記憶體中（A3，B3）。當以這種時序執行時，程式就可以得到x = y = 0的結果。

從記憶體操作實際發生的順序來看，直到處理器A執行A3來重新整理自己的寫快取區，寫操作A1才算真正執行了。雖然處理器A執行記憶體操作的順序為：A1->A2，但記憶體操作實際發生的順序卻是：A2->A1。此時，處理器A的記憶體操作順序被重排序了（處理器B的情況和處理器A一樣）。

這裡的關鍵是，由於寫緩衝區僅對自己的處理器可見，它會導致處理器執行記憶體操作的順序可能會與記憶體實際的操作執行順序不一致。由於現代的處理器都會使用寫緩衝區，因此現代的處理器都會允許對寫-讀操做重排序。

下面是常見處理器允許的重排序型別的列表：

上表單元格中的“N”表示處理器不允許兩個操作重排序，“Y”表示允許重排序。

從上表我們可以看出：常見的處理器都允許Store-Load重排序；常見的處理器都不允許對存在資料依賴的操作做重排序。sparc-TSO和x86擁有相對較強的處理器記憶體模型，它們僅允許對寫-讀操作做重排序（因為它們都使用了寫緩衝區）。

※注1：sparc-TSO是指以TSO(Total Store Order)記憶體模型執行時，sparc處理器的特性。

※注2：上表中的x86包括x64及AMD64。

※注3：由於ARM處理器的記憶體模型與PowerPC處理器的記憶體模型非常類似，本文將忽略它。

※注4：資料依賴性後文會專門說明。

為了保證記憶體可見性，java編譯器在生成指令序列的適當位置會插入記憶體屏障指令來禁止特定型別的處理器重排序。JMM把記憶體屏障指令分為下列四類：

StoreLoad Barriers是一個“全能型”的屏障，它同時具有其他三個屏障的效果。現代的多處理器大都支援該屏障（其他型別的屏障不一定被所有處理器支援）。執行該屏障開銷會很昂貴，因為當前處理器通常要把寫緩衝區中的資料全部重新整理到記憶體中（buffer fully flush）。

happens-before

從JDK5開始，java使用新的JSR -133記憶體模型（本文除非特別說明，針對的都是JSR- 133記憶體模型）。JSR-133提出了happens-before的概念，通過這個概念來闡述操作之間的記憶體可見性。如果一個操作執行的結果需要對另一個操作可見，那麼這兩個操作之間必須存在happens-before關係。這裡提到的兩個操作既可以是在一個執行緒之內，也可以是在不同執行緒之間。 與程式設計師密切相關的happens-before規則如下：

• 程式順序規則：一個執行緒中的每個操作，happens- before 於該執行緒中的任意後續操作。
• 監視器鎖規則：對一個監視器鎖的解鎖，happens- before 於隨後對這個監視器鎖的加鎖。
• volatile變數規則：對一個volatile域的寫，happens- before 於任意後續對這個volatile域的讀。
• 傳遞性：如果A happens- before B，且B happens- before C，那麼A happens- before C。

注意，兩個操作之間具有happens-before關係，並不意味著前一個操作必須要在後一個操作之前執行！happens-before僅僅要求前一個操作（執行的結果）對後一個操作可見，且前一個操作按順序排在第二個操作之前（the first is visible to and ordered before the second）。happens- before的定義很微妙，後文會具體說明happens-before為什麼要這麼定義。

happens-before與JMM的關係如下圖所示：

如上圖所示，一個happens-before規則通常對應於多個編譯器重排序規則和處理器重排序規則。對於java程式設計師來說，happens-before規則簡單易懂，它避免程式設計師為了理解JMM提供的記憶體可見性保證而去學習複雜的重排序規則以及這些規則的具體實現。

二：重排序與JMM的as-if-serial

資料依賴性

如果兩個操作訪問同一個變數，且這兩個操作中有一個為寫操作，此時這兩個操作之間就存在資料依賴性。資料依賴分下列三種類型：

上面三種情況，只要重排序兩個操作的執行順序，程式的執行結果將會被改變。

注意，這裡所說的資料依賴性僅針對單個處理器中執行的指令序列和單個執行緒中執行的操作，不同處理器之間和不同執行緒之間的資料依賴性不被編譯器和處理器考慮。前面提到過，編譯器和處理器可能會對操作做重排序。編譯器和處理器在重排序時，會遵守資料依賴性，編譯器和處理器不會改變存在資料依賴關係的兩個操作的執行順序。

as-if-serial語義

as-if-serial語義的意思指：不管怎麼重排序（編譯器和處理器為了提高並行度），（單執行緒）程式的執行結果不能被改變。編譯器，runtime 和處理器都必須遵守as-if-serial語義。

為了遵守as-if-serial語義，編譯器和處理器不會對存在資料依賴關係的操作做重排序，因為這種重排序會改變執行結果。但是，如果操作之間不存在資料依賴關係，這些操作可能被編譯器和處理器重排序。為了具體說明，請看下面計算圓面積的程式碼示例：

1. double pi = 3.14; //A

2. double r = 1.0; //B

3. double area = pi * r * r; //C

上面三個操作的資料依賴關係如下圖所示：

如上圖所示，A和C之間存在資料依賴關係，同時B和C之間也存在資料依賴關係。因此在最終執行的指令序列中，C不能被重排序到A和B的前面（C排到A和B的前面，程式的結果將會被改變）。但A和B之間沒有資料依賴關係，編譯器和處理器可以重排序A和B之間的執行順序。下圖是該程式的兩種執行順序：

as-if-serial語義把單執行緒程式保護了起來，遵守as-if-serial語義的編譯器，runtime 和處理器共同為編寫單執行緒程式的程式設計師建立了一個幻覺：單執行緒程式是按程式的順序來執行的。as-if-serial語義使單執行緒程式設計師無需擔心重排序會干擾他們，也無需擔心記憶體可見性問題。

程式順序規則

根據happens- before的程式順序規則，上面計算圓的面積的示例程式碼存在三個happens- before關係：

1. A happens- before B；
2. B happens- before C；
3. A happens- before C；

這裡的第3個happens- before關係，是根據happens- before的傳遞性推匯出來的。

這裡A happens- before B，但實際執行時B卻可以排在A之前執行（看上面的重排序後的執行順序）。在第一章提到過，如果A happens- before B，JMM並不要求A一定要在B之前執行。JMM僅僅要求前一個操作（執行的結果）對後一個操作可見，且前一個操作按順序排在第二個操作之前。這裡操作A的執行結果不需要對操作B可見；而且重排序操作A和操作B後的執行結果，與操作A和操作B按happens- before順序執行的結果一致。在這種情況下，JMM會認為這種重排序並不非法（not illegal），JMM允許這種重排序。

在計算機中，軟體技術和硬體技術有一個共同的目標：在不改變程式執行結果的前提下，儘可能的開發並行度。編譯器和處理器遵從這一目標，從happens- before的定義我們可以看出，JMM同樣遵從這一目標。

重排序對多執行緒的影響

現在讓我們來看看，重排序是否會改變多執行緒程式的執行結果。請看下面的示例程式碼：

class ReorderExample {
int a = 0;
boolean flag = false;
 
public void writer() {
    a = 1;                   //1
    flag = true;             //2
}
 
Public void reader() {
    if (flag) {                //3
        int i =  a * a;        //4
        ……
    }
}
}

flag變數是個標記，用來標識變數a是否已被寫入。這裡假設有兩個執行緒A和B，A首先執行writer()方法，隨後B執行緒接著執行reader()方法。執行緒B在執行操作4時，能否看到執行緒A在操作1對共享變數a的寫入？

答案是：不一定能看到。

由於操作1和操作2沒有資料依賴關係，編譯器和處理器可以對這兩個操作重排序；同樣，操作3和操作4沒有資料依賴關係，編譯器和處理器也可以對這兩個操作重排序。讓我們先來看看，當操作1和操作2重排序時，可能會產生什麼效果？請看下面的程式執行時序圖：

如上圖所示，操作1和操作2做了重排序。程式執行時，執行緒A首先寫標記變數flag，隨後執行緒B讀這個變數。由於條件判斷為真，執行緒B將讀取變數a。此時，變數a還根本沒有被執行緒A寫入，在這裡多執行緒程式的語義被重排序破壞了！

※注：本文統一用紅色的虛箭線表示錯誤的讀操作，用綠色的虛箭線表示正確的讀操作。

下面再讓我們看看，當操作3和操作4重排序時會產生什麼效果（藉助這個重排序，可以順便說明控制依賴性）。下面是操作3和操作4重排序後，程式的執行時序圖：

在程式中，操作3和操作4存在控制依賴關係。當代碼中存在控制依賴性時，會影響指令序列執行的並行度。為此，編譯器和處理器會採用猜測（Speculation）執行來克服控制相關性對並行度的影響。以處理器的猜測執行為例，執行執行緒B的處理器可以提前讀取並計算a*a，然後把計算結果臨時儲存到一個名為重排序緩衝（reorder buffer ROB）的硬體快取中。當接下來操作3的條件判斷為真時，就把該計算結果寫入變數i中。

從圖中我們可以看出，猜測執行實質上對操作3和4做了重排序。重排序在這裡破壞了多執行緒程式的語義！

在單執行緒程式中，對存在控制依賴的操作重排序，不會改變執行結果（這也是as-if-serial語義允許對存在控制依賴的操作做重排序的原因）；但在多執行緒程式中，對存在控制依賴的操作重排序，可能會改變程式的執行結果。

三：順序一致性記憶體模型與JMM

資料競爭與順序一致性保證

當程式未正確同步時，就會存在資料競爭。java記憶體模型規範對資料競爭的定義如下：

• 在一個執行緒中寫一個變數，
• 在另一個執行緒讀同一個變數，
• 而且寫和讀沒有通過同步來排序。

當代碼中包含資料競爭時，程式的執行往往產生違反直覺的結果（前一章的示例正是如此）。如果一個多執行緒程式能正確同步，這個程式將是一個沒有資料競爭的程式。

JMM對正確同步的多執行緒程式的記憶體一致性做了如下保證：

• 如果程式是正確同步的，程式的執行將具有順序一致性（sequentially consistent）--即程式的執行結果與該程式在順序一致性記憶體模型中的執行結果相同（馬上我們將會看到，這對於程式設計師來說是一個極強的保證）。這裡的同步是指廣義上的同步，包括對常用同步原語（lock，volatile和final）的正確使用。

順序一致性記憶體模型

順序一致性記憶體模型是一個被電腦科學家理想化了的理論參考模型，它為程式設計師提供了極強的記憶體可見性保證。順序一致性記憶體模型有兩大特性：

• 一個執行緒中的所有操作必須按照程式的順序來執行。
• （不管程式是否同步）所有執行緒都只能看到一個單一的操作執行順序。在順序一致性記憶體模型中，每個操作都必須原子執行且立刻對所有執行緒可見。

順序一致性記憶體模型為程式設計師提供的檢視如下：

在概念上，順序一致性模型有一個單一的全域性記憶體，這個記憶體通過一個左右擺動的開關可以連線到任意一個執行緒。同時，每一個執行緒必須按程式的順序來執行記憶體讀/寫操作。從上圖我們可以看出，在任意時間點最多隻能有一個執行緒可以連線到記憶體。當多個執行緒併發執行時，圖中的開關裝置能把所有執行緒的所有記憶體讀/寫操作序列化。

為了更好的理解，下面我們通過兩個示意圖來對順序一致性模型的特性做進一步的說明。

假設有兩個執行緒A和B併發執行。其中A執行緒有三個操作，它們在程式中的順序是：A1->A2->A3。B執行緒也有三個操作，它們在程式中的順序是：B1->B2->B3。

假設這兩個執行緒使用監視器來正確同步：A執行緒的三個操作執行後釋放監視器，隨後B執行緒獲取同一個監視器。那麼程式在順序一致性模型中的執行效果將如下圖所示：

現在我們再假設這兩個執行緒沒有做同步，下面是這個未同步程式在順序一致性模型中的執行示意圖：

未同步程式在順序一致性模型中雖然整體執行順序是無序的，但所有執行緒都只能看到一個一致的整體執行順序。以上圖為例，執行緒A和B看到的執行順序都是：B1->A1->A2->B2->A3->B3。之所以能得到這個保證是因為順序一致性記憶體模型中的每個操作必須立即對任意執行緒可見。

但是，在JMM中就沒有這個保證。未同步程式在JMM中不但整體的執行順序是無序的，而且所有執行緒看到的操作執行順序也可能不一致。比如，在當前執行緒把寫過的資料快取在本地記憶體中，且還沒有重新整理到主記憶體之前，這個寫操作僅對當前執行緒可見；從其他執行緒的角度來觀察，會認為這個寫操作根本還沒有被當前執行緒執行。只有當前執行緒把本地記憶體中寫過的資料重新整理到主記憶體之後，這個寫操作才能對其他執行緒可見。在這種情況下，當前執行緒和其它執行緒看到的操作執行順序將不一致。

同步程式的順序一致性效果

下面我們對前面的示例程式ReorderExample用監視器來同步，看看正確同步的程式如何具有順序一致性。

請看下面的示例程式碼：

class SynchronizedExample {
int a = 0;
boolean flag = false;
 
public synchronized void writer() {
    a = 1;
    flag = true;
}
 
public synchronized void reader() {
    if (flag) {
        int i = a;
        ……
    }
}
}

上面示例程式碼中，假設A執行緒執行writer()方法後，B執行緒執行reader()方法。這是一個正確同步的多執行緒程式。根據JMM規範，該程式的執行結果將與該程式在順序一致性模型中的執行結果相同。下面是該程式在兩個記憶體模型中的執行時序對比圖：

在順序一致性模型中，所有操作完全按程式的順序序列執行。而在JMM中，臨界區內的程式碼可以重排序（但JMM不允許臨界區內的程式碼“逸出”到臨界區之外，那樣會破壞監視器的語義）。JMM會在退出監視器和進入監視器這兩個關鍵時間點做一些特別處理，使得執行緒在這兩個時間點具有與順序一致性模型相同的記憶體檢視（具體細節後文會說明）。雖然執行緒A在臨界區內做了重排序，但由於監視器的互斥執行的特性，這裡的執行緒B根本無法“觀察”到執行緒A在臨界區內的重排序。這種重排序既提高了執行效率，又沒有改變程式的執行結果。

從這裡我們可以看到JMM在具體實現上的基本方針：在不改變（正確同步的）程式執行結果的前提下，儘可能的為編譯器和處理器的優化開啟方便之門。

未同步程式的執行特性

對於未同步或未正確同步的多執行緒程式，JMM只提供最小安全性：執行緒執行時讀取到的值，要麼是之前某個執行緒寫入的值，要麼是預設值（0，null，false），JMM保證執行緒讀操作讀取到的值不會無中生有（out of thin air）的冒出來。為了實現最小安全性，JVM在堆上分配物件時，首先會清零記憶體空間，然後才會在上面分配物件（JVM內部會同步這兩個操作）。因此，在以清零的記憶體空間（pre-zeroed memory）分配物件時，域的預設初始化已經完成了。

JMM不保證未同步程式的執行結果與該程式在順序一致性模型中的執行結果一致。因為未同步程式在順序一致性模型中執行時，整體上是無序的，其執行結果無法預知。保證未同步程式在兩個模型中的執行結果一致毫無意義。

和順序一致性模型一樣，未同步程式在JMM中的執行時，整體上也是無序的，其執行結果也無法預知。同時，未同步程式在這兩個模型中的執行特性有下面幾個差異：

1. 順序一致性模型保證單執行緒內的操作會按程式的順序執行，而JMM不保證單執行緒內的操作會按程式的順序執行（比如上面正確同步的多執行緒程式在臨界區內的重排序）。這一點前面已經講過了，這裡就不再贅述。
2. 順序一致性模型保證所有執行緒只能看到一致的操作執行順序，而JMM不保證所有執行緒能看到一致的操作執行順序。這一點前面也已經講過，這裡就不再贅述。
3. JMM不保證對64位的long型和double型變數的讀/寫操作具有原子性，而順序一致性模型保證對所有的記憶體讀/寫操作都具有原子性。

第3個差異與處理器匯流排的工作機制密切相關。在計算機中，資料通過匯流排在處理器和記憶體之間傳遞。每次處理器和記憶體之間的資料傳遞都是通過一系列步驟來完成的，這一系列步驟稱之為匯流排事務（bus transaction）。匯流排事務包括讀事務（read transaction）和寫事務（write transaction）。讀事務從記憶體傳送資料到處理器，寫事務從處理器傳送資料到記憶體，每個事務會讀/寫記憶體中一個或多個物理上連續的字。這裡的關鍵是，匯流排會同步試圖併發使用匯流排的事務。在一個處理器執行匯流排事務期間，匯流排會禁止其它所有的處理器和I/O裝置執行記憶體的讀/寫。下面讓我們通過一個示意圖來說明匯流排的工作機制：

如上圖所示，假設處理器A，B和C同時向匯流排發起匯流排事務，這時匯流排仲裁（bus arbitration）會對競爭作出裁決，這裡我們假設匯流排在仲裁後判定處理器A在競爭中獲勝（匯流排仲裁會確保所有處理器都能公平的訪問記憶體）。此時處理器A繼續它的匯流排事務，而其它兩個處理器則要等待處理器A的匯流排事務完成後才能開始再次執行記憶體訪問。假設在處理器A執行匯流排事務期間（不管這個匯流排事務是讀事務還是寫事務），處理器D向匯流排發起了匯流排事務，此時處理器D的這個請求會被匯流排禁止。

匯流排的這些工作機制可以把所有處理器對記憶體的訪問以序列化的方式來執行；在任意時間點，最多隻能有一個處理器能訪問記憶體。這個特性確保了單個匯流排事務之中的記憶體讀/寫操作具有原子性。

在一些32位的處理器上，如果要求對64位資料的讀/寫操作具有原子性，會有比較大的開銷。為了照顧這種處理器，java語言規範鼓勵但不強求JVM對64位的long型變數和double型變數的讀/寫具有原子性。當JVM在這種處理器上執行時，會把一個64位long/ double型變數的讀/寫操作拆分為兩個32位的讀/寫操作來執行。這兩個32位的讀/寫操作可能會被分配到不同的匯流排事務中執行，此時對這個64位變數的讀/寫將不具有原子性。

當單個記憶體操作不具有原子性，將可能會產生意想不到後果。請看下面示意圖：

如上圖所示，假設處理器A寫一個long型變數，同時處理器B要讀這個long型變數。處理器A中64位的寫操作被拆分為兩個32位的寫操作，且這兩個32位的寫操作被分配到不同的寫事務中執行。同時處理器B中64位的讀操作被拆分為兩個32位的讀操作，且這兩個32位的讀操作被分配到同一個的讀事務中執行。當處理器A和B按上圖的時序來執行時，處理器B將看到僅僅被處理器A“寫了一半“的無效值。