如何理解ZooKeeper的順序一致性?
Sequential consistency分析
2017 餓了麼做異地多活，我的團隊承擔 ZooKeeper 的異地多活改造。在此期間我聽到 2 種不同的關於一致性的說法。
-
一種說法是 ZooKeeper 是最終一致性，因為由於多副本、以及保證大多數成功的 Zab 協議，當一個客戶端程式寫入一個新值，另外一個客戶端程式不能保證馬上就能讀到這個值，但是能保證最終能讀取到這個值。
-
另外一種說法是 ZooKeeper 的 Zab 協議類似於 Paxos 協議，並且提供了強一致性。
每當我聽到這 2 種說法，我都想上去糾正一下，“不對，ZooKeeper 是順序一致性 (Sequential consistency)”。
但是解釋起來太複雜了，需要一篇長文來說明。一直想寫這篇文章說明這個說法，但是一直沒寫，餓了麼的異地多活專案結束這麼長時間了，終於擠一些時間把它寫出來，和大家一起討論一下。
從 ZooKeeper 的檔案中我們可以看到，ZooKeeper 檔案中明確寫明它的一致性是 Sequential consistency（參考連結見文末）。
什麼是 Sequential consistency 呢？
Sequential consistency 的是 Lamport 在 1979 年首次提出的。（參看他的論文 How to make a multiprocessor computer that correctly executes multiprocess programs） 論文中定義，當滿足下面這個條件時就是 sequential consistency：
the result of any execution is the same as if the operations of all the processors were executed in some sequential order,and the operations of each individual processor appear in this sequence in the order specified by its program.
這段英文定義很晦澀（這是 Lomport 大神的一向的風格，嚴謹但晦澀，Paxos 協議也是如此），我第一次看到這段定義時的感覺就是:“這是什麼鬼？”。為什麼每個英文單詞我都認識，但是怎麼就是不知道他在說什麼。第一次看到這句話和我有同感的小夥伴舉個手。
本文後面我再把這段英文定義翻譯成中文，現在我們先來看看這篇論文的標題和定義中出現的一個關鍵詞，來說明一下 sequential consistency 的應用範圍。論文的標題和這段定義中包含 multiprocessor 這個詞，Multiprocessor 是多處理器的意思。
從這個關鍵字上來看，sequential consistency 是用來定義多處理器和跑在多處理器上的程式的一個特性。Lomport 這篇論文的標題可以翻譯成，“如何讓具有多處理器的計算機的正確執行多程式程式”，也就是說如果一個多核處理器具有 sequential consistency 的特性，這個多核處理器就可以正確的執行，後面我們來解釋這個正確執行是什麼意思（也就是本文後面講到的 Sequential consistency 的作用）。從這個標題中我們還可以看出，Sequential consistency 應該是個 併發程式設計（concurrent programming）領域 的概念。
但是我們現在常常在分散式系統領域討論 Sequential consistency，比如本文主要要討論 Zookeeper（Zookeeper 很明顯是一個分散式系統）的一致性。實際上，多核處理器上的執行的多個程式，其實也是一種分散式系統（Lomport 在他的這篇< Time,Clocks,and the Ordering of Events in a Distributed System >分散式系統的開山之作中也闡述了這個觀點）。
所以雖然 Sequential consistency 最早在併發程式設計中提出，但是它可以 應用在分散式系統 中，比如本文討論的 Zookeeper 這種分散式儲儲存存系統。另外一個比較重要的 Linearizability(線性一致性)，也是在併發程式設計中最早提出的，目前也被廣泛的應用在分散式系統領域中。
下面我們要來翻譯上面那段晦澀的定義。做這段定義的翻譯讓我找到了上學時做閱讀理解的感覺。我先不直接翻譯，因為就算我把它翻譯成中文，我估計很多人還是不明白是什麼意思。還是會有那種感覺，為毛每個中文字我都懂，可還是不知道在說什麼。
首先，我來解釋一些個別的詞。第一個，any execution，any execution 是什麼意思？你有多個程式（program）在多核處理器上執行，例如你有 2 個程式，
第一個程式叫 P1，它的程式碼如下：
P1_write(x);
P1_read(y);
第二個程式叫 P2，程式碼如下：
P2_write(u);
P2_read(v);
複製程式碼從理論上來講，2 個程式執行在 2 個獨立的處理器的核上，有多少種執行的可能那？我列舉其中幾種來舉例說明。
第 1 種：
P1---write(x)--------read(y)--------
P2-----------write(u)-------read(v)-
第 2 種：
P1----------write(x)-read(y)--------
P2--write(u)----------------read(v)-
第 3 種：
P1---read(y)----------write(x)------
P2-----------write(u)---------read(v)-
複製程式碼我們有 24 中可能的執行順序，也就是這 4 個操作任意的排列組合，也就是 4!=24。類似第一種和第二種這樣的可能性很好理解。為什麼會出現像第 3 種這樣的可能的執行那？那是因為就算是在同一個程式中，由於處理會有多級的快取，以及處理器中 coherence 的存在，雖然你的程式中是先 write 後 read，在記憶體中真正生效的順序，也有可能是先 read 後 write。
其實還會出現類似下面這樣的執行，2 個操作在 2 個處理器上同時執行。 P1--write(x)-read(y)-------- P2--write(u)--------read(v)- 如果加上同時執行的這種情況，那就有更多種可能性。我的算數不好，這裡我就不再繼續算了，因為到底有多少個不重要，重要的是你知道有很多種可能性就可以了。那麼定義中的"any execution"，就是指任意一種可能的執行，在定義中也可以理解為所有的這些可能的執行。 接下來還是不翻譯定義，我們再來解釋一個詞 --sequential order。什麼叫 sequential order？我們來翻一下英語詞典（感覺更像是在做閱讀理解了）。 sequential: 連續的；相繼的；有順序的 order: 命令；順序；規則；[貿易] 定單
sequential order-- 有順序的順序，這個是什麼鬼？ 其實 sequential 是有一個接一個的意思，在處理器的這種上下文中，sequential 就是指 操作（operartion）一個接一個的執行，也就是順序執行，並且沒有重疊。Order 是指經過一定的調整，讓某樣東西按照一定的規則變得有序。比如，在演演算法中的排序演演算法就是 ordering，就是讓陣列這個東西按照從大到小的規則或則從小到大的規則變得有序。那麼 sequential order 就是指讓操作（operation）按照一個接一個這樣的規則排列，並且沒有重疊。 仍然說上面的例子，如果把 4 個操作，按一個接一個的規則排列，我們這時就可以得到 4！的排列組合個可能的排列（order），仍然，到底有多少個不重要。
比如：
P1_write(x);P1_read(y);P2_write(u);P2_read(v);
P1_read(y);P1_write(x);P2_write(u);P2:read(v);
P2_write(u);P2_read(v);P1_read(y);P1:write(x);
複製程式碼我這裡只列舉其中 3 個，其他的大家可以自己排一下。 重點來了，其實 sequential order 就是讓這 4 個操作一個接一個的順序執行，並且沒有重疊。注意這個排列不是真實的執行，真實的執行是 any execution，這裡說的是邏輯上的假設，這也就是為什麼定義有一個 as if。
做了這麼多的鋪墊，下面我們開始翻譯定義中的第一句話：
任意一種可能的執行的效果和某一種所有的處理器上的操作按照順序排列執行的效果是一樣的。
注意，這裡 some 在這裡是某一的意思，不是一些，因為 order 是單數。（在做閱讀理解） 這就話的意思就是說，一個處理器要滿足這個條件，就要能夠只允許滿足這個條件的那些可能的執行存在，其他不滿足的可能的執行都不會出現。
從第一句話中我們可以看出，一種多核處理器要想滿足 sequential consistency，那麼多個程式在多個核執行效果"等同"於在一個核上順序執行所有操作的效果是差不多的。如果這樣的話，其實多核的威力基本就消失了。所以無論是從 Lomport 寫這篇論文的 1979，還是現在，沒有任何一個現實的多核處理器，實現了 sequential consistency。
那麼為什麼 Lomport 大神提出這樣一個不現實的概念那？（我要注意 Lomport 寫這篇論文時，並沒有把它引申到分散式系統領域，就是針對多核處理器，併發程式設計領域提出的）我們現在先不說，稍後在論述。
這裡還要注意的一點是，在我的翻譯裡用了效果一詞，但實際上英文原文定義中用的是 result（結果）一詞。那效果和結果有什麼區別嗎？我們解釋一下什麼叫執行結果？不管是任何真實的執行，還是某種經過順序排序後的假設執行，程式會產生一定的結果，比如 print 出來的結果（result）。實際上定義中說的是結果一樣。
如果定義中用效果的話，那麼這個定義就只是一個定性的定義，如果用結果的話，那這個定義就是一個定量的定義。定量的，也就是說是可以通過數學證明的。從這點我們就可以看出，大神就是不一樣，任何理論都是可以通過數學證明是正確的。文章後面還會提到證明的事情，我們這裡再賣個關子。 到這裡，我們第一句定義的更準確翻譯是：
任意一種可能的執行的結果和某一種所有的處理器的操作按照順序排列執行的結果是一樣的。
這裡我們還要注意一點的是，結果一樣就意味著，如果有人真的要實現一種 sequential consistency 的多核處理器的話，因為要保證結果一樣，所以他是有一定的空間來優化，而不會完全是一個核順序執行的效果。但是估計這種優化也是非常有限的。
好了，我們終於把最難的第一話解釋完了，大家可以鬆口氣，第二句就非常簡單了。我們還是先解釋一個詞再完整的翻譯。這個詞就是第二句中出現的 sequence。我們剛剛解釋過的 sequential order 是順序排序（於就是按一個接一個排序），其實這是一個動作，動作會產生結果，它的結果產生了一個操作（operation）的佇列。第二句中出現的 sequence 就是指這個操作（operation）的佇列。
好，那第二句的翻譯就是：
並且每個獨立的處理器的操作都會按照程式指定的順序出現在操作佇列中。
也就是說如果程式裡是先 write（x）；後 read(y); 那麼只有滿足這個順序的操作佇列是符合條件的。這樣，我們剛剛說的很多可能的執行就少了很多，這裡我也就不計算少了多少，還是那句話，數量不重要，反正是有，而且變少了。那麼第二句意味這什麼？意味著如果一個多核處理器實現了 sequential consistency，那麼這種多核處理器基本上就告別自（緩）行（存）車了。這裡我還繼續賣關子，連快取這種最有效提高處理器效能的優化都沒了，大神為什麼要提出這個概念？
好了，到這裡我們可以把 2 句翻譯合起來，完整的看一下：
任意一種可能的執行的結果和某一種所有的處理器的操作按照順序排列執行的結果是一樣的，並且每個獨立的處理器的操作都會按照程式指定的順序出現在操作佇列中。
從這個定義中，我們可以看出，這個概念的核心就是 sequential order，這也就是為什麼 Lomport 老爺子，把這種一致性模型稱之為 sequential consistency。可以說這個命名是非常貼切的。不知道這種貼切對於以英語為母語的人來說是不是更好理解一些，應該不會出現"順序的順序是什麼鬼"的這種情況。如果你看完這篇文章，也覺得 sequential 很貼切的話，那就說明我講清楚了。 接下來我們舉個具體的例子，再來說明一下。
execution A
P0 writex=1-------------------------------
P1 -------write x=2----------------------
P2 -----------------read x==1--read x==2
P3 -----------------read x==1--read x==2
sequetial order: P0_write x=1,P3_read x==1,P4_read x==1,P1_write x=2,P3_read x==2,P4_read x==2
execution B
P0 write=1-------------------------------
P1 -------write x=2----------------------
P2 -----------------read x==2--read x==1
P3 -----------------read x==2--read x==1
sequetial order: P1_write x=2,P4_read x==2,P0_write x=1,P4_read x==1
execution C
P0 write=1-------------------------------
P1 -------write x=2----------------------
P2 -----------------read x==1--read x==2
P3 -----------------read x==2--read x==1
複製程式碼sequetial order: 你找不出一個符合定義中 2 個條件的一種 order。 所以說如果一個多核處理器只允許 execution A 和 B 出現，不允許 C 出現，那麼這個多核處理器就是 sequetial consistency 的。如果它允許 C 出現，那它就不是 sequetial consistency。
到這裡我們已經完整的講完什麼是 sequetial consistency。但是，細心的朋友可能會問，如果你的 program 是的多執行緒的程式怎麼辦那？那麼我們再把定義中最後的一個細節解釋一下：program 這個詞。Program 是指可以直接執行在處理器上的指令序列。這個並不是 Pogram 的嚴格定義，但是我要指出的是這個 Program 是在作業系統都沒有的遠古時代就存在的概念，這個定義中 prgram 就是指那個時代的 program。這個 Program 裡沒有程式、執行緒的概念，這些概念都在有了作業系統之後才有的概念。
因為沒有作業系統，也沒有記憶體空間的概念。不像是我們現在所說的程式（Program），不同的程式有自己獨立的記憶體地址空間。我們這裡，記憶體（memory）對於不同的 Program 來說是 shared。另外，需要注意的是 Program 可以用來說明各種程式，不管你是作業系統核心，還是應用程式，都適用。
剛剛我們說了，sequential consistency 雖然是針對併發程式設計的領域提出的，但實際上它是分散式領域的概念，特別是分散式儲存系統。《Distributed system: Principles and Paradigms》（作者Andrew S.Tanenbaum,Maarten Van Steen）這本書中，作者稍微修改了一下 Lomport 的定義，讓這個定義更貼近分散式領域中的概念，我們來看一下作者是怎麼改的：
The result of any execution is the same as if the (read and write) operations by all processes on the data store were executed in some sequential order and the operations of-each individual process appear in this sequence in the order specified by its program.
作者把 processor 換成了 process，並且加了 on the data store 這個限定，在 Lomport 沒有這個限定，其實預設指的是 memory（記憶體）。Process 就是指程式。以 zookeeper 為例，就是指訪問 zookeeper 的應用程式。program 也不是那麼底層概念，也是基於作業系統的應用程式了。
好了，下面我該揭曉我上面賣的 2 個關子了。在 Lomport 的論文中，給出了一個小例子，如下：
process 1
a := 1;
if b = 0 then critical section:
a := 0
else ... fi
process 2
b := 1;
if a = 0 then critical section:
b := 0
else ... fi
複製程式碼Lomport 在論文中說，如果一種多核處理滿足 sequential consistency 的條件，那麼 最多隻有一個程式能夠進入 critical section。在論文中，Lomport 老爺子並沒有解釋為什麼最多隻有一個程式能夠進入 critical section。而是把這個證明留給了論文的讀者，就像我們常見的教科書中的課後習題一樣，留給的讀者。
Lomport 老爺子應該是認為這個證明太簡單了，不應該花費它的筆墨來證明它。sequential consistency 這篇論文只有不到 2 頁 A4 紙，是我見過的最短的論文。這是 Lomport 老爺子一項的做事風格，Lomport 的 Paxos 論文中，有很多細節，都是一筆帶過的，給讀者留下無盡的遐想（瞎想）。 假設現在我們已經證明這個是正確的（雖然我也沒去證明一下，論文給出 2 個參考文獻，用來證明這個），這個例子說明瞭什麼那？你也許注意到了，這個例子沒有用到任何鎖，但是它實現了 critical section，critical section 是一種多執行緒 synchronization 機制。如果多處理器是 sequential consistency 的，那麼你寫的併發程式"天然就是正確的"。
但是處理器的設計者為了最求效能，將保證程式正確的任務丟給程式開發者。只在硬體級別提供了一些 fence、cas 等指令，基於這些指令操作核心和語言基礎庫實現了各種 synchronization 機制，用來保證作業系統的正確性和應用程式的正確性。程式設計師必須小心謹慎的使用執行緒和這些 synchronization 機制，否則就會出各種意想不到的問題。
如果你沒有 debug 一個多執行緒 bug 連續加班 2 天，那說明你是大神。這些指令都是具有更高一致性級別，也就是 linearizability（關於 linearizability 可以參看我的另外一篇文章《線性一致性是併發控制的基礎》，雖然一致性級別高，但只是個別指令的，處理器整體只是實現了比 sequential consistency 低很多的一致性級別。所以實現難度大大的降低了。
雖然 Lomport 老爺子的 sequential consistency 的概念在 concurrent programming 領域中還沒有實際意義，但是卻給我們指出了程式設計師的天堂在哪裡。在程式設計師的天堂裡，沒有多（車）線（來）程（車）編（往）程，只用寫程式就行。你面試的時候不會再有人問你多執行緒程式設計，不會再問你各種鎖。
在分散式領域中，sequential consistency 更實際一些。zookeeper 就實現了 sequential consistency。同理，這應該也是可以證明的，但是目前還沒發現有 zookeeper 社群有任何論文來證明這個。如果你已經明白上面解釋的定義，你可以想清楚 zookeeper 是 sequential consistency。歡迎大家一起來討論。
ZK的一致性
實際上，ZooKeeper 的一致性更復雜一些，ZooKeeper 的讀操作是 sequential consistency 的，ZooKeeper 的寫操作是 linearizability 的.（關於 linearizability 可以參看我的另外一篇文章《線性一致性是併發控制的基礎》。
關於這個說法，ZooKeeper 的官方檔案中沒有寫出來，但是在社群的郵件組有詳細的討論。另外在這篇關於 ZooKeeper 的論文《Modular Composition of Coordination Services》 中也有提到這個觀點（這篇論文不是 ZooKeeper 的主流論文，但是全面分析了 ZooKeeper 的特性，以及 ZooKeeper 跨機房方案，餓了麼的 ZooKeeper 異地多活改造也參考了這篇論文中的一些觀點）。我們可以這麼理解 ZooKeeper，從整體（read 操作 +write 操作）上來說是 sequential consistency，寫操作實現了 Linearizability。
通過簡單的推理，我們可以得出 Lomport 論文中的小例子，在 ZooKeeper 中也是成立的。我們可以這樣實現分散式鎖。但 ZooKeeper 官方推薦的分散式實現方法並沒有採用這個方式來實現，而是利用了 Zookeeper 的 Linearizability 特性實現了分散式鎖（關於 ZooKeeper 官方是如何實現分散式鎖的，請參考我的這篇文章《ZooKeeper 實現分散式鎖和選主》）。
為什麼ZK要實現 sequential consistency?
ZooKeeper 最核心的功能是用來做 coordination service，也就是用來做分散式鎖服務，在分散式的環境下，ZooKeeper 本身怎麼做到"天然正確"？沒有其他的 synchronization 機制保證 ZooKeeper 是正確的，所以只要 zk 實現了 sc，那他自身就可以保證正確性，從而對外提供鎖服務。
參考檔案