1. 程式人生 > >大資料,springcloud 的 Eureka與ZooKeeper 的比較

大資料,springcloud 的 Eureka與ZooKeeper 的比較

Eureka與ZooKeeper 的比較(轉)

原文https://www.cnblogs.com/zgghb/p/6515062.html

 

 

 

 

Eureka的優勢

1、在Eureka平臺中,如果某臺伺服器宕機情況

 Eureka不會有類似於ZooKeeper的選舉leader的過程,客戶端請求會自動切換到新的Eureka節點,當宕機的伺服器重新恢復後,Eureka會再次將其納入到伺服器叢集管理之中;而對於它來說,所有要做的無非是同步一些新的服務註冊資訊而已。

不用擔心有“掉隊”的伺服器恢復以後,會從Eureka伺服器叢集中剔除出去的風險了。

Eureka甚至被設計用來應付範圍更廣的網路分割故障,並實現“0”宕機維護需求。(多個zookeeper之間網路出現問題,造成出現多個leader,發生腦裂)當網路分割故障發生時,每個Eureka節點,會持續的對外提供服務(注:ZooKeeper不會),接收新的服務註冊同時將它們提供給下游的服務發現請求。這樣一來,就可以實現在同一個子網中(same side of partition),新發布的服務仍然可以被發現與訪問。
2、正常配置下,Eureka內建了心跳服務,用於淘汰一些“瀕死”的伺服器;

如果在Eureka中註冊的服務,它的“心跳”變得遲緩時,Eureka會將其整個剔除出管理範圍(這點有點像ZooKeeper的做法)。這是個很好的功能,但是當網路分割故障發生時,這也是非常危險的;因為,那些因為網路問題(注:心跳慢被剔除了)而被剔除出去的伺服器本身是很”健康“的,只是因為網路分割故障把Eureka叢集分割成了獨立的子網而不能互訪而已。
幸運的是,Netflix考慮到了這個缺陷。如果Eureka服務節點在短時間裡丟失了大量的心跳連線(注:可能發生了網路故障),那麼這個Eureka節點會進入”自我保護模式“,同時保留那些“心跳死亡“的服務註冊資訊不過期。此時,這個Eureka節點對於新的服務還能提供註冊服務,對於”死亡“的仍然保留,以防還有客戶端向其發起請求。當網路故障恢復後,這個Eureka節點會退出”自我保護模式“。所以Eureka的哲學是,同時保留”好資料“與”壞資料“總比丟掉任何”好資料“要更好,所以這種模式在實踐中非常有效。
3、Eureka還有客戶端快取功能

(注:Eureka分為客戶端程式與伺服器端程式兩個部分,客戶端程式負責向外提供註冊與發現服務介面)。

所以即便Eureka叢集中所有節點都失效,或者發生網路分割故障導致客戶端不能訪問任何一臺Eureka伺服器;Eureka服務的消費者仍然可以通過Eureka客戶端快取來獲取現有的服務註冊資訊。甚至最極端的環境下,所有正常的Eureka節點都不對請求產生相應,也沒有更好的伺服器解決方案來解決這種問題時;得益於Eureka的客戶端快取技術,消費者服務仍然可以通過Eureka客戶端查詢與獲取註冊服務資訊,這點很重要。
4、Eureka的構架保證了它能夠成為Service發現服務。它相對與ZooKeeper來說剔除了Leader節點的選取或者事務日誌機制,這樣做有利於減少使用者維護的難度也保證了Eureka的在執行時的健壯性。而且Eureka就是為發現服務所設計的,它有獨立的客戶端程式庫,同時提供心跳服務、服務健康監測、自動釋出服務與自動重新整理快取的功能。但是,如果使用ZooKeeper你必須自己來實現這些功能。Eureka的所有庫都是開源的,所有人都能看到與使用這些原始碼,這比那些只有一兩個人能看或者維護的客戶端庫要好。
5、維護Eureka伺服器也非常的簡單,

比如,切換一個節點只需要在現有EIP下移除一個現有的節點然後新增一個新的就行。Eureka提供了一個web-based的圖形化的運維介面,在這個介面中可以檢視Eureka所管理的註冊服務的執行狀態資訊:是否健康,執行日誌等。Eureka甚至提供了Restful-API介面,方便第三方程式整合Eureka的功能。

ZooKeeper的劣勢

   在分散式系統領域有個著名的CAP定理(C-資料一致性;A-服務可用性;P-服務對網路分割槽故障的容錯性,這三個特性在任何分散式系統中不能同時滿足,最多同時滿足兩個);ZooKeeper是個CP的,即任何時刻對ZooKeeper的訪問請求能得到一致的資料結果,同時系統對網路分割具備容錯性;但是它不能保證每次服務請求的可用性(注:也就是在極端環境下,ZooKeeper可能會丟棄一些請求,消費者程式需要重新請求才能獲得結果)。但是別忘了,ZooKeeper是分散式協調服務,它的職責是保證資料(注:配置資料,狀態資料)在其管轄下的所有服務之間保持同步、一致;所以就不難理解為什麼ZooKeeper被設計成CP而不是AP特性的了,如果是AP的,那麼將會帶來恐怖的後果(注:ZooKeeper就像交叉路口的訊號燈一樣,你能想象在交通要道突然訊號燈失靈的情況嗎?)。而且,作為ZooKeeper的核心實現演算法Zab,就是解決了分散式系統下資料如何在多個服務之間保持同步問題的。

1、對於Service發現服務來說就算是返回了包含不實的資訊的結果也比什麼都不返回要好;再者,對於Service發現服務而言,寧可返回某服務5分鐘之前在哪幾個伺服器上可用的資訊,也不能因為暫時的網路故障而找不到可用的伺服器,而不返回任何結果。所以說,用ZooKeeper來做Service發現服務是肯定錯誤的,如果你這麼用就慘了!
   如果被用作Service發現服務,ZooKeeper本身並沒有正確的處理網路分割的問題;而在雲端,網路分割問題跟其他型別的故障一樣的確會發生;所以最好提前對這個問題做好100%的準備。就像Jepsen在ZooKeeper網站上釋出的部落格中所說:在ZooKeeper中,如果在同一個網路分割槽(partition)的節點數(nodes)數達不到ZooKeeper選取Leader節點的“法定人數”時,它們就會從ZooKeeper中斷開,當然同時也就不能提供Service發現服務了。

2、ZooKeeper下所有節點不可能保證任何時候都能快取所有的服務註冊資訊。如果ZooKeeper下所有節點都斷開了,或者叢集中出現了網路分割的故障(注:由於交換機故障導致交換機底下的子網間不能互訪);那麼ZooKeeper會將它們都從自己管理範圍中剔除出去,外界就不能訪問到這些節點了,即便這些節點本身是“健康”的,可以正常提供服務的;所以導致到達這些節點的服務請求被丟失了。(注:這也是為什麼ZooKeeper不滿足CAP中A的原因)

3、更深層次的原因是,ZooKeeper是按照CP原則構建的,也就是說它能保證每個節點的資料保持一致,而為ZooKeeper加上快取的做法的目的是為了讓ZooKeeper變得更加可靠(available);但是,ZooKeeper設計的本意是保持節點的資料一致,也就是CP。所以,這樣一來,你可能既得不到一個數據一致的(CP)也得不到一個高可用的(AP)的Service發現服務了;因為,這相當於你在一個已有的CP系統上強制栓了一個AP的系統,這在本質上就行不通的!一個Service發現服務應該從一開始就被設計成高可用的才行!

4、如果拋開CAP原理不管,正確的設定與維護ZooKeeper服務就非常的困難;錯誤會經常發生,導致很多工程被建立只是為了減輕維護ZooKeeper的難度。這些錯誤不僅存在與客戶端而且還存在於ZooKeeper伺服器本身。Knewton平臺很多故障就是由於ZooKeeper使用不當而導致的。那些看似簡單的操作,如:正確的重建觀察者(reestablishing watcher)、客戶端Session與異常的處理與在ZK視窗中管理記憶體都是非常容易導致ZooKeeper出錯的。同時,我們確實也遇到過ZooKeeper的一些經典bug:ZooKeeper-1159 與ZooKeeper-1576;我們甚至在生產環境中遇到過ZooKeeper選舉Leader節點失敗的情況。這些問題之所以會出現,在於ZooKeeper需要管理與保障所管轄服務群的Session與網路連線資源(注:這些資源的管理在分散式系統環境下是極其困難的);但是它不負責管理服務的發現,所以使用ZooKeeper當Service發現服務得不償失。

一個叢集有3臺機器,掛了一臺後的影響是什麼?掛了兩臺呢? 
掛了一臺:掛了一臺後就是收不到其中一臺的投票,但是有兩臺可以參與投票,按照上面的邏輯,它們開始都投給自己,後來按照選舉的原則,兩個人都投票給其中一個,那麼就有一個節點獲得的票等於2,2 > (3/2)=1 的,超過了半數,這個時候是能選出leader的。
掛了兩臺: 掛了兩臺後,怎麼弄也只能獲得一張票, 1 不大於 (3/2)=1的,這樣就無法選出一個leader了。

ZAB(ZooKeeper Atomic Broadcast ) 全稱為:原子訊息廣播協議;ZAB可以說是在Paxos演算法基礎上進行了擴充套件改造而來的,ZAB協議設計了支援崩潰恢復,ZooKeeper使用單一主程序Leader用於處理客戶端所有事務請求,採用ZAB協議將伺服器數狀態以事務形式廣播到所有Follower上;由於事務間可能存在著依賴關係,ZAB協議保證Leader廣播的變更序列被順序的處理,:一個狀態被處理那麼它所依賴的狀態也已經提前被處理;ZAB協議支援的崩潰恢復可以保證在Leader程序崩潰的時候可以重新選出Leader並且保證資料的完整性;

過半數(>=N/2+1) 的Follower反饋資訊後,Leader將再次向叢集內Follower廣播Commit資訊,Commit為將之前的Proposal提交;