zookeeper=檔案系統+通知機制

一、 檔案系統

Zookeeper維護一個類似檔案系統的資料結構：

每個子目錄項如 NameService 都被稱作為 znode，和檔案系統一樣，我們能夠自由的增加、刪除znode，在一個znode下增加、刪除子znode，唯一的不同在於znode是可以儲存資料的。

有四種類型的znode：

1）PERSISTENT-持久目錄節點

客戶端與zookeeper斷開連線後，該節點依舊存在

2） PERSISTENT_SEQUENTIAL-持久順序節點

客戶端與zookeeper斷開連線後，該節點依舊存在，只是Zookeeper給該節點名稱進行順序編號

3）EPHEMERAL-臨時目錄節點

客戶端與zookeeper斷開連線後，該節點被刪除

4）EPHEMERAL_SEQUENTIAL-臨時順序編號目錄節點

客戶端與zookeeper斷開連線後，該節點被刪除，只是Zookeeper給該節點名稱進行順序編號

二、 通知機制

客戶端註冊監聽它關心的目錄節點，當目錄節點發生變化（資料改變、被刪除、子目錄節點增加刪除）時，zookeeper會通知客戶端。

我們可以自定義Watcher，如果是Boolean型變數，當為true時，則使用系統預設的Watcher，系統預設的Watcher是在Zookeeper的建構函式中定義的Watcher。引數中Watcher為空或者false，表示不啟用Wather。

1、一次性觸發器

客戶端在Znode設定了Watch時，如果Znode內容發生改變，那麼客戶端就會獲得Watch事件。例如：客戶端設定getData("/znode1", true)後，如果/znode1發生改變或者刪除，那麼客戶端就會得到一個/znode1的Watch事件，但是/znode1再次發生變化，那客戶端是無法收到Watch事件的，除非客戶端設定了新的Watch。

2、傳送至客戶端

Watch事件是非同步傳送到Client。Zookeeper可以保證客戶端傳送過去的更新順序是有序的。例如：某個Znode沒有設定watcher，那麼客戶端對這個Znode設定Watcher傳送到叢集之前，該客戶端是感知不到該Znode任何的改變情況的。換個角度來解釋：由於Watch有一次性觸發的特點，所以在伺服器端沒有Watcher的情況下，Znode的任何變更就不會通知到客戶端。不過，即使某個Znode設定了Watcher，且在Znode有變化的情況下通知到了客戶端，但是在客戶端接收到這個變化事件，但是還沒有再次設定Watcher之前，如果其他客戶端對該Znode做了修改，這種情況下，Znode第二次的變化客戶端是無法收到通知的。這可能是由於網路延遲或者是其他因素導致，所以我們使用Zookeeper不能期望能夠監控到節點每次的變化。Zookeeper只能保證最終的一致性，而無法保證強一致性。

3、設定watch的資料內容

Znode改變有很多種方式，例如：節點建立，節點刪除，節點改變，子節點改變等等。Zookeeper維護了兩個Watch列表，一個節點資料Watch列表，另一個是子節點Watch列表。getData()和exists()設定資料Watch，getChildren()設定子節點Watch。兩者選其一，可以讓我們根據不同的返回結果選擇不同的Watch方式，getData()和exists()返回節點的內容，getChildren()返回子節點列表。因此，setData()觸發內容Watch，create()觸發當前節點的內容Watch或者是其父節點的子節點Watch。delete()同時觸發父節點的子節點Watch和內容Watch，以及子節點的內容Watch。

Zookeeper Watcher的執行機制

1，Watch是輕量級的，其實就是本地JVM的Callback，伺服器端只是存了是否有設定了Watcher的布林型別。（原始碼見：org.apache.zookeeper.server.FinalRequestProcessor）

2，在服務端，在FinalRequestProcessor處理對應的Znode操作時，會根據客戶端傳遞的watcher變數，新增到對應的ZKDatabase（org.apache.zookeeper.server.ZKDatabase）中進行持久化儲存，同時將自己NIOServerCnxn做為一個Watcher callback，監聽服務端事件變化

3，Leader通過投票通過了某次Znode變化的請求後，然後通知對應的Follower，Follower根據自己記憶體中的zkDataBase資訊，傳送notification資訊給zookeeper客戶端。

4，Zookeeper客戶端接收到notification資訊後，找到對應變化path的watcher列表，挨個進行觸發回撥

watcher分類：

defaultWatcher

existWatcher-->exist()

childWatcher-->getChildren()

dataWatcher-->getData()

watcher原理：

1、建立zookeeper例項的時候接收一個watcher引數，賦值給watchMnanger.defaultWatcher，此watcher與其它watcher不同，主要用於響應與連結狀態轉換有關的事件（建立連結，關閉連結等）

2、ZKWatchManager是客戶端watcher管理器,負責跟蹤多種watcher，每種型別的watcher將會被存在各自的Map中，key為path,value為Set<Watcher>。watcher由ZKWatchManager負責管理,並不會隨請求傳送給server,而只會發給server此請求型別是否註冊了watch

3、在ZKDatabase中,包括一個DataTree,此dataTree持有對nodes以及相關的watcher的資料，server端,WatcherManager是管理client註冊的watcher，其資料結構為HashSet<path,Set<Watcher>>

4、請求到達server之後,在FinalRequestProcessor中,將會處理各種請求,如果檢測到request.getWatch()為true,即請求要求註冊watch,那麼將會把ServerCnxn和path關聯起來,加入到WatherManager相應的列表中.

5、客戶端的請求響應之後，由SendThread.readResponse()處理響應，如果響應code為成功且此請求中註冊了watch，那麼將會把此wath新增到響應的watch列表中。

6、DataTree持有2個WatchManager物件，分別為dataWatches用於管理註冊data操作的watch，childWatches用於管理註冊child操作的watch。

Zookeeper的Watcher機制主要包括客戶端執行緒、客戶端WatchManager和Zookeeper伺服器三部分。在具體的流程上，客戶端向Zookeeper伺服器註冊Watcher事件監聽的同時，會將Watcher物件儲存在 客戶端WatchManager中。當Zookeeper伺服器觸發Watcher事件後，會向客戶端傳送通知，客戶端執行緒從WatchManager中取出對應的Watcher物件執行回撥邏輯（process方法）。

流程：

1、不同子服務在zk上註冊同一個znode節點

2、第一個子服務在節點上建立資料

3、第二個子服務監聽節點的變化

4、當節點改變時做出對應的操作

方法一：watche機制回撥

建立的是持久節點

需要自己將傳遞的引數由json轉化為String

子服務定時呼叫getData方法，判斷是否執行api

一個外部呼叫對應一個監聽

--缺點：每一個介面對應一個定時任務

方法二：zk非同步呼叫api

建立的是臨時節點

可以直接傳遞json

主執行緒需要阻塞等待其他子服務的呼叫api

按create，exits，delete監聽

--每種型別的回撥方法只有一個，需要滿足不同子服務的呼叫

原因

在呼叫一個介面的時候，可能會執行一些不必要的操作，有時這些操作等待響應的時間過長，如果同步呼叫介面，會使當前執行緒阻塞，大大影響了使用者體驗，所以利用zookeeper的watch機制，非同步處理這些操作。

原理

1、Zookeeper提供瞭如下幾種可以"註冊watch"的操作:exist,getChildren,getData;而對於create,setData,delete是有可能觸發"watcher"的操作

2、zookeeper的節點大小為1M

過程

1、建立子服務zookeeper，用於建立節點和對節點進行監聽

2、啟動服務的同時啟動監聽執行緒，建立定時任務讀取zookeeper節點

3、其他子服務執行時呼叫zookeeper服務，建立一個持久時序節點

4、執行緒定時獲取介面對應的子節點，根據子節點中的引數執行相應介面

5、讀取資料之後刪除節點

問題

1、其他子節點的session過期未被呼叫也會丟擲異常？但是不影響自身節點的使用

org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired for /esque2

/* 2、建立根節點下的子節點時會拋根節點不為空的異常？但是不影響子節點的建立

org.apache.zookeeper.KeeperException$NotEmptyException: KeeperErrorCode = Directory not empty for /confTest */(因為呼叫了delete方法去刪除根節點)

/*3、多個執行緒同時對一個子服務的節點進行修改， 會對其產生影響*/（建立持久順序節點）

4、如果寫操作建立了臨時節點，釋放之後讀操作無法獲取

5、介面回撥方法的執行依賴於主執行緒的阻塞時間，如果在回撥方法中呼叫其他子服務的介面，會執行了一半之後停止