1. 程式人生 > >ZooKeeper設計特點及典型應用場景

ZooKeeper設計特點及典型應用場景

資料複製的好處

1、容錯:一個節點出錯,不至於讓整個叢集無法提供服務

2、擴充套件性:通過增加伺服器節點能提高 ZooKeeper 系統的負載能力,把負載分佈到多個節點上

3、高效能:客戶端可訪問本地 ZooKeeper 節點或者訪問就近的節點,依次提高使用者的訪問速度

設計目的

1、最終一致性:client不論連線到哪個Server,展示給它都是同一個檢視,這是zookeeper最重要的效能。 
2、可靠性:具有簡單、健壯、良好的效能,如果訊息被到一臺伺服器接受,那麼它將被所有的伺服器接受。 
3、實時性:Zookeeper保證客戶端將在一個時間間隔範圍內獲得伺服器的更新資訊,或者伺服器失效的資訊。但由於網路延時等原因,Zookeeper不能保證兩個客戶端能同時得到剛更新的資料,如果需要最新資料,應該在讀資料之前呼叫sync()介面。 
4、等待無關(wait-free):慢的或者失效的client不得干預快速的client的請求,使得每個client都能有效的等待。 
5、原子性:更新只能成功或者失敗,沒有中間狀態。 
6、順序性:包括全域性有序和偏序兩種:全域性有序是指如果在一臺伺服器上訊息a在訊息b前釋出,則在所有Server上訊息a都將在訊息b前被髮布;偏序是指如果一個訊息b在訊息a後被同一個傳送者釋出,a必將排在b前面。 

 

ZooKeeper 典型應用場景

命名服務

  命名服務是分散式系統中較為常見的一類場景,分散式系統中,被命名的實體通常可以是集 群中的機器、提供的服務地址或遠端物件等,通過命名服務,客戶端可以根據指定名字來獲 取資源的實體、服務地址和提供者的資訊。Zookeeper 也可幫助應用系統通過資源引用的方 式來實現對資源的定位和使用,廣義上的命名服務的資源定位都不是真正意義上的實體資源, 在分散式環境中,上層應用僅僅需要一個全域性唯一的名字。Zookeeper 可以實現一套分散式 全域性唯一 ID 的分配機制。

配置管理

  程式總是需要配置的,如果程式分散部署在多臺機器上,要逐個改變配置就變得困難。現在 把這些配置全部放到 ZooKeeper 上去,儲存在 ZooKeeper 的某個目錄節點中,然後所有相關應用程式對這個目錄節點進行監聽,一旦配置資訊發生變化,每個應用程式就會收到 ZooKeeper 的通知,然後從 ZooKeeper 獲取新的配置資訊應用到系統中就好

叢集管理

所謂叢集管理無在乎兩點:是否有機器退出和加入、選舉 master

  對於第一點,所有機器約定在父目錄 GroupMembers 下建立臨時目錄節點,然後監聽父目錄 節點的子節點變化訊息。一旦有機器掛掉,該機器與 ZooKeeper 的連線斷開,其所建立的 臨時目錄節點被刪除,所有其他機器都收到通知:某個兄弟目錄被刪除,於是,所有人都知道:有兄弟掛了。新機器加入也是類似,所有機器收到通知:新兄弟目錄加入,又多了個新兄弟。

  對於第二點,我們稍微改變一下,所有機器建立臨時順序編號目錄節點,每次選取編號最小的機器作為 master 就好。當然,這只是其中的一種策略而已,選舉策略完全可以由管理員 自己制定。

分散式鎖

通過zookeeper實現的分散式鎖通常還是使用ZooKeeper框架Curator對於分散式鎖的實現,但可以自己思考一下如何實現。

有了 ZooKeeper 的一致性檔案系統,鎖的問題變得容易。 鎖服務可以分為兩類

一個是讀寫鎖,對寫加鎖,保持獨佔,或者叫做排它鎖,獨佔鎖;對讀加鎖,可共享訪問,釋放鎖之後才可進行事務操作,也叫共享鎖

一個是控制時序,叫時序鎖

  對於獨佔鎖,我們將 ZooKeeper 上的一個 znode 看作是一把鎖,通過 createznode 的方式來 實現。對於獨佔鎖,所有客戶端都去建立臨時目錄(臨時且節點路徑會加上序號)節點/Locks/write,最終成功建立最小序號/Locks/write節點的那個客戶端即擁有了這把鎖,用完刪除掉自己建立的節點就釋放出鎖,然後下一個序號的節點就可以獲取鎖。對於共享鎖,可以思考如何實現,共享鎖要保證不能和獨佔鎖共存,如果有某個程序持有獨佔鎖,那麼所有的獨佔鎖或共享鎖都不能獲取,如果沒有獨佔鎖被某個程序持有,那麼持有共享鎖的程序都可以併發執行,獨佔鎖必須等待所有共享鎖全部釋放後才能獲取。

對於共享鎖,我有一個實現思路是,全部建立/locks/readwritelock路徑的臨時目錄節點,然後對於寫鎖的節點,執行create /locks/readwritelock write,而讀鎖執行create /locks/readwritelock read,通過序號最小的節點的儲存的字串是read還是write來確定某個執行緒持有鎖實寫鎖還是讀鎖;如果第一個節點是寫鎖,那麼其餘節點對應的所有執行緒都不得持有鎖,得進入執行緒等待狀態。如果是讀鎖,那麼從第一個節點開始遍歷,直到一個請求寫鎖的節點之前的所有節點對應的執行緒都可以獲取讀鎖並且許可權。路徑下儲存的資料不一定是字串,用數字代替也可以。

  對於時序鎖, /Locks已經預先存在,所有客戶端在它下面建立臨時順序編號目錄節點,和選 master 一樣,編號最小的獲得鎖,用完刪除,依次有序

設計鎖時,一定要保證鎖的釋放,所以一般都會將節點設定為臨時節點,保證即使客戶端未釋放鎖(刪除節點)就異常終止,也能讓其他程式獲取到鎖,避免死鎖。

佇列管理

  兩種型別的佇列:

  1、同步佇列:當一個佇列的成員都聚齊時,這個佇列才可用,否則一直等待所有成員到達。

  2、先進先出佇列:佇列按照 FIFO 方式進行入隊和出隊操作。

  第一類,在約定目錄下建立臨時目錄節點,監聽節點數目是否是我們要求的數目。

  第二類,和分散式鎖服務中的控制時序場景基本原理一致,入列有編號,出列按編號。 同步佇列的流程圖:

相關推薦

ZooKeeper學習之路 (七)ZooKeeper設計特點典型應用場景

目錄 正文 回到頂部 ZooKeeper 特點/設計目的 ZooKeeper 作為一個叢集提供資料一致的協調服務,自然,最好的方式就是在整個叢集中的 各服務節點進行資料的複製和同步。 資料複製的好處 1、容錯:一個節點出錯,不至於讓整個叢集無法提供服務

ZooKeeper設計特點典型應用場景

資料複製的好處 1、容錯:一個節點出錯,不至於讓整個叢集無法提供服務 2、擴充套件性:通過增加伺服器節點能提高 ZooKeeper 系統的負載能力,把負載分佈到多個節點上 3、高效能:客戶端可訪問本地 ZooKeeper 節點或者訪問就近的節點,依次提高使用者的訪問速度 設計目的 1、最終一

ZooKeeper的三種典型應用場景

sre ddl take consumer ron ica alt needed 開發 引言   ZooKeeper是中典型的pub/sub模式的分布式數據管理與協調框架,開發人員可以使用它進行分布式數據的發布與訂閱。另外,其豐富的數據節點類型可以交叉使用,配合Wat

ZooKeeper典型應用場景

拉取 ons 執行 全局 進行 創建失敗 消息通知 防止 成了 《從Paxos到Zookeeper 分布式一致性原理與實踐》讀書筆記 本文:總結腦圖地址:腦圖 前言 所有的典型應用場景,都是利用了ZK的如下特性: 強一致性:在高並發情況下,能夠保證節點的創建一定是

設計模式 | 責任鏈模式典型應用

本文的主要內容: 介紹責任鏈模式 請假流程示例 責任鏈模式總結 原始碼分析Tomcat Filter中的責任鏈模式 更多內容可訪問我的個人部落格:laijianfeng.org 關注【小旋鋒】微信公眾號,及時接收博文推送 **** 責任鏈模式 一個事

設計模式 | 原型模式典型應用

前言 本文的主要內容如下: 介紹原型模式 示例 Java語言的clone 淺克隆與深克隆 實現深克隆 原型模式的典型應用 原型模式 原型模式(Prototype Pattern):使用原型例項指定建

設計模式 | 建造者模式典型應用

本文目錄 建造者模式 角色 示例 建造者模式總結 建造者模式的典型

ZooKeeper 典型應用場景

Zookeeper基礎知識  1.zookeeper是一個類似hdfs的樹形檔案結構,zookeeper可以用來保證資料在(zk)叢集之間的資料的事務性一致、  2.zookeeper有watch事件,是一次性觸發的,當watch監視的資料發生變化時,通知設定了該watch的client,即watcher  

設計模式 | 迭代器模式典型應用

本文的主要內容: 介紹迭代器模式 原始碼分析迭代器模式的典型應用 Java集合中的迭代器模式 Mybatis中的迭代器模式 更多內容可訪問我的個人部落格:laijianfeng.org 關注【小旋鋒】微信公眾號,及時接收博文推送

ZooKeeper典型應用場景

ZooKeeper是一個高可用的分散式資料管理與系統協調框架。基於對Paxos演算法的實現,使該框架保證了分散式環境中資料的強一致性,也正是基於這樣的特性,使得ZooKeeper解決很多分散式問題。網上對ZK的應用場景也有不少介紹,本文將結合作者身邊的專案例子,系統地對ZK的

ZooKeeper典型應用場景一覽

叢集機器監控:這通常用於那種對叢集中機器狀態,機器線上率有較高要求的場景,能夠快速對叢集中機器變化作出響應。這樣的場景中,往往有一個監控系統,實時檢測叢集機器是否存活。過去的做法通常是:監控系統通過某種手段(比如ping)定時檢測每個機器,或者每個機器自己定時向監控系統彙報“我還活著”。 這種做法可行

zookeeper開源客戶端Curator典型應用場景之-服務註冊與發現(十一)

隨著業務增加,以前簡單的系統已經變得越來越複雜,單純的提升伺服器效能也不是辦法,而且程式碼也是越來越龐大,維護也變得越來越困難,這一切都催生了新的架構設計風格 – 微服務架構的出現。 微服務給我們帶來了很多好處,例如:獨立可擴充套件、易維護。但是隨著應用的分解

zookeeper開源客戶端Curator典型應用場景之-Barrier屏障(十三)

什麼是Barrier Barrier是這樣的:Barrier是一個同步點,每一個程序到達此點都要等待,直到某一個條件滿足,然後所有的節點繼續進行。 比如:賽跑大家都知道,所有比賽人員都會在起跑線外等待,直到教練員的槍響之後,所有參賽者立刻開始賽跑。 JDK的併

設計模式 | 組合模式典型應用

本文的主要內容: 介紹組合模式 示例 組合模式總結 原始碼分析組合模式的典型應用 java.awt中的組合模式 Java集合中的組合模式 Mybatis SqlNode中的組合模式 組合模式 樹形結構不論在生活中或者是開發中都是一種非常常見的結構,一

設計模式 | 備忘錄模式典型應用

本文的主要內容: 介紹備忘錄模式 示例 備忘錄模式總結 備忘錄模式 備忘錄模式經常可以遇到,譬如下面這些場景: 瀏覽器回退:瀏覽器一般有瀏覽記錄,當我們在一個網頁上點選幾次連結之後,可在左上角點

圖解ZooKeeper典型應用場景

介紹 zookeeper在很多框架中都有應用,例如:Dubbo,Hadoop,Storm,Kafka等,在這些框架中都用到了zookeeper,但典型的用法也就幾種,掌握了這幾種用法,再看zookeeper在相關框架中的應用就很輕鬆,下一篇文章將會詳細介紹zookeeper在dubb

設計模式 | 中介者模式典型應用

本文的主要內容: 介紹中介者模式 資料同步示例 中介者模式總結 原始碼分析中介者模式的典型應用 Java Timer 中的中介者模式 中介者模式 世界上存在著各種各樣的資料庫,不同資料庫有各自的應用場景,對於同一份資料,最開始可能使用關係型資料庫(如M

大資料生態之zookeeper典型應用場景

1. 命名服務        命名服務是分散式系統中較為常見的一類場景,分散式系統中,被命名的實體通常可以是叢集中的機器、提供的服務地址或者遠端物件,通過命名服務,客戶端可以根據指定名字來獲取資源的實體、服務地址和提供者的資訊。Zookee

【推薦】zookeeper典型應用場景: 分散式計數器

一、技術介紹 zookeeper有很多典型應用場景,應用在分散式系統中,這裡介紹其分散式計數器應用。本文將討論如何使用Curator來實現計數器。 顧名思義,計數器是用來計數的, 利用ZooKeeper可以實現一個叢集共享的計數器。 只要使用相同的path就可以得到最新的計數器值, 這是由Z

zookeeper開源客戶端Curator典型應用場景之-分散式計數器(十四)

之前我們瞭解了基於Corator的分散式鎖之後,我們就很容易基於其實現一個分散式計數器,顧名思義,計數器是用來計數的, 利用ZooKeeper可以實現一個叢集共享的計數器。 只要使用相同的path就可以得到最新的計數器值, 這是由ZooKeeper的一致性保證