2. 程式人生 > >ZooKeeper學習筆記二

ZooKeeper學習筆記二

阿新 • • 發佈：2018-11-12

實戰使用

ZooKeeper框架的安裝

1. 下載並tar開解壓（略）
2. 建立配置檔案
建立conf/zoo.cfg 配置檔案

tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181

 引數說明:

  1. tickTime: zookeeper中使用的基本時間單位, 毫秒值.
  2. dataDir: 資料目錄. 可以是任意目錄.
  3. dataLogDir: log目錄, 同樣可以是任意目錄. 如果沒有設定該引數, 將使用和dataDir相同的設定.
  4. clientPort: 監聽client連線的埠號.

啟動ZooKeeper伺服器

$ bin/zkServer.sh start

進入 CLI

$ bin/zkCli.sh

停止ZooKeeper伺服器

$ bin/zkServer.sh stop

Zookeeper CLI

ZooKeeper 命令列介面(CLI)是用來與 ZooKeeper 整合作開發進行互動的。這是在除錯和使用不同的選項時的工作有用。
為了執行ZooKeeper的CLI操作， ZooKeeper伺服器首先要啟動 (“bin/zkServer.sh start”) , 然後使用 ZooKeeper 客戶端 (“bin/zkCli.sh”). 當客戶端啟動後，可以執行以下操作：(1)建立znodes，(2)獲取資料，(3)監視 znode 變化，(4)設定資料，(5)建立 znode 的子 znode，(6)列出一個 znode 的子 znode，(7)檢查狀態，(8)刪除一個 znode

  • 建立Znodes：create /path /data
  • 獲取資料：get /path
  • 監視：get /path [watch] 1
  • 設定資料：set /path /data
  • 建立子znode：create /parent/path/subnode/path /data
  • 列出子znode：ls /path
  • 檢查狀態：stat /path
  • 刪除Znode：rmr /path

Java API使用

導包

<dependency>
    <groupId>org.apache.zookeeper</groupId>
    <artifactId>zookeeper</artifactId>
    <version>3.4.13</version>
</dependency>

常用方法列表

String create(final String path, byte data[], List acl, CreateMode createMode)

引數： 路徑、 znode內容，ACL(訪問控制列表)、 znode建立型別；

用途：建立znode節點

void delete(final String path, int version)

引數： 路徑、版本號；如果版本號與znode的版本號不一致，將無法刪除，是一種樂觀加鎖機制；如果將版本號設定為-1，不會去檢測版本，直接刪除；

用途：刪除節點

Stat exists(final String path, Watcher watcher)

引數： 路徑、Watcher(監視器)；當這個znode節點被改變時，將會觸發當前Watcher

用途：判斷znode節點是否存在

Stat exists(String path, boolean watch)

引數： 路徑、並設定是否監控這個目錄節點，這裡的 watcher 是在建立 ZooKeeper 例項時指定的 watcher；

判斷znode節點是否存在

Stat setData(final String path, byte data[], int version)

引數： 路徑、資料、版本號；如果為-1，跳過版本檢查

用途：設定znode上的資料

byte[] getData(final String path, Watcher watcher, Stat stat)

引數： 路徑、監視器、資料版本等資訊

用途：獲取znode上的資料

List getChildren(final String path, Watcher watcher)

引數： 路徑、監視器;該方法有多個過載

用途：獲取節點下的所有子節點

Zookeeper 常用API

ZooKeeper有一個Java和C繫結的官方API。ZooKeeper社群提供了對於大多數語言(.NET，Python等)的非官方API。使用ZooKeeper的API，應用程式可以連線，互動，操作資料，協調，以及從ZooKeeper整合斷開。

連線

原始碼

public ZooKeeper(String connectString, int sessionTimeout, Watcher watcher)
    throws IOException

原始碼解析

  1. connectString：zookeeper服務地址，例如“192.168.117.128:2181”
  2. sessionTimeout ：超時時間，單位為毫秒
  3. watcher：實現org.apache.zookeeper.Watcher介面的實現類，需實現process(WatchedEvent watchedEvent) 方法

例項

/**
 * 連線zk伺服器並建立zk例項
 *
 * @throws InterruptedException
 */
public static void connect() throws InterruptedException {
    final CountDownLatch connectedLatch = new CountDownLatch(1);
    try {
        zooKeeper = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
            public void process(WatchedEvent event) {
                if  (event.getState()  ==  Event.KeeperState.SyncConnected) {
                    connectedLatch.countDown();
                }
            }
        });
        System.out.println("伺服器連線成功");
    } catch (IOException e) {
        System.out.println("伺服器連線失敗");
        e.printStackTrace();
    }
    connectedLatch.await();
}

Create：建立同步節點

原始碼

public String create(final String path, byte data[], List<ACL> acl,
        CreateMode createMode)

原始碼解析

  1. path：建立節點路徑，需保證父節點已存在
  2. data：節點資料
  3. acl：（Access Control List）許可權列表
  4. createMode：節點型別

acl許可權列表

使用api 中預設的ACL
在建立znode時可以設定該znode的ACL列表。介面org.apache.zookeeper.ZooDefs.Ids中有一些已經設定好的許可權常量，例如：

  1. OPEN_ACL_UNSAFE：完全開放
  2. CREATOR_ALL_ACL：建立該znode的連線擁有所有許可權
  3. READ_ACL_UNSAFE：所有的客戶端都可讀

createMode:節點型別

  1. CreateMode.PERSISTENT：持久化節點
  2. CreateMode.EPHEMERAL：臨時節點（連線斷開自動刪除）
  3. CreateMode.PERSISTENT_SEQUENTIAL：持久化有序節點
  4. CreateMode.EPHEMERAL_SEQUENTIAL：臨時有序節點（連線斷開自動刪除）

例項

/**
 * 建立節點
 *
 * @param node
 * @param data
 */
public void create(String node, String data) {
    //建立
    String result = null;
    try {
        result = zooKeeper.create(
                node,
                data.getBytes(),
                ZooDefs.Ids.OPEN_ACL_UNSAFE,
                CreateMode.PERSISTENT);
        System.out.println("返回的路徑為：" + result);
    } catch (KeeperException e) {
        System.out.println("建立失敗，節點已存在");
        e.printStackTrace();
    } catch (InterruptedException e) {
        System.out.println("建立失敗：" + "the transaction is interrupted");
        e.printStackTrace();
    }
    System.out.println("建立成功:" + result);
}

getData：獲取節點

原始碼

public byte[] getData(final String path, Watcher watcher, Stat stat)

原始碼解析

znode節點的狀態資訊

使用get命令獲取指定節點的資料時, 同時也將返回該節點的狀態資訊, 稱為Stat. 其包含如下欄位:

  • czxid. 節點建立時的zxid.
  • mzxid. 節點最新一次更新發生時的zxid.
  • ctime. 節點建立時的時間戳.
  • mtime. 節點最新一次更新發生時的時間戳.
  • dataVersion. 節點資料的更新次數.
  • cversion. 其子節點的更新次數.
  • aclVersion. 節點ACL(授權資訊)的更新次數.
  • ephemeralOwner. 如果該節點為ephemeral節點, ephemeralOwner值表示與該節點繫結的session id. 如果該節點不是ephemeral節點, ephemeralOwner值為0. 至於什麼是ephemeral節點, 請看後面的講述.
  • dataLength. 節點資料的位元組數.
  • numChildren. 子節點個數.

例項

/**
 * 讀取節點
 *
 * @param node
 */
public void getData(String node) {
    Stat stat = new Stat();
    try {
        byte[] bytes = zooKeeper.getData(node, watcher, stat);
        System.out.println("資料存在" + bytes.toString());
        System.out.println("stat:" + stat);
    } catch (KeeperException e) {
        System.out.println("資料不存在");
        e.printStackTrace();
    } catch (InterruptedException e) {
        System.out.println("the server transaction is interrupted");
        e.printStackTrace();
    }
}

獲取子節點

例項

/**
 * 輸出子節點
 * @param node
 */
public void getChildren(String node) {
    try {
        List<String> zooKeeperChildren = zooKeeper.getChildren(node, watcher);
        System.out.println(node + "的子節點共有：" +
                zooKeeperChildren.size() + "個"
        );
        System.out.print("[");
        for (String child : zooKeeperChildren) {
            System.out.print(child + ",");
        }
        System.out.println("]");
    } catch (KeeperException e) {
        System.out.println("節點不存在");
        e.printStackTrace();
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
}

注：getChildren方法會在子點有變化時觸發watcher 這個監聽器

刪除節點

/**
 * 刪除節點
 *
 * @param node
 */
public void deleteNode(String node) {
    // 刪除
    try {
        zooKeeper.delete(node, -1);
        System.out.println("刪除節點成功：" + node);
    } catch (KeeperException e) {
        System.out.println("節點不存在");
        e.printStackTrace();
    } catch (InterruptedException e) {
        System.out.println("刪除節點失敗：the server transaction is interrupted");
        e.printStackTrace();
    }
}

關閉連連線

/**
 * 關閉zk連線
 */
public void close() {
    try {
        zooKeeper.close();
    } catch (InterruptedException e) {
        System.out.println("關閉失敗");
        e.printStackTrace();
    }
}

注：一般情況下close()方法放在finally程式碼塊執行

常見異常

InterruptedException 異常

@throws InterruptedException if the transaction is interrupted

若客戶端的某操作被中斷，則會丟擲InterruptedException異常。丟擲該異常時，不一定是出現故障，只能表明某個zookeeper操作被中斷而已。

KeeperException 異常

@throws KeeperException if the server returns a non-zero error code

伺服器發出錯誤訊號或是伺服器存在通訊故障。該類現在共有21個子類， 分為3大類：

關於KeeperErrorCode = ConnectionLoss錯誤

在使用Zookeeper API時，常常會引發以下錯誤 ，這是由於連線還未完成就執行zookeeper的get/create/exists操作引起的

Exception in thread "main" org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /test
at org.apache.zookeeper.KeeperException.create(KeeperException.Java:99)
at org.apache.zookeeper.KeeperException.create(KeeperException.java:51)
at org.apache.zookeeper.ZooKeeper.exists(ZooKeeper.java:1501)
at org.apache.zookeeper.ZooKeeper.exists(ZooKeeper.java:1529)
at com.jiq.test.ZooKeeperTest.main(ZooKeeperTest.java:12)

解決的辦法是等Zookeeper連線初始化完成再使用例項，以下是示例程式碼

public static ZooKeeper getInstance() throws IOException, InterruptedException {
//--------------------------------------------------------------
// 為避免連線還未完成就執行zookeeper的get/create/exists操作引起的（KeeperErrorCode = ConnectionLoss)
// 這裡等Zookeeper的連線完成才返回例項
//--------------------------------------------------------------
    ZooKeeper zk = new ZooKeeper(connectionString, sessionTimeout, new Watcher() {
        @Override
        public void process(WatchedEvent event) {
            if (event.getState() == Event.KeeperState.SyncConnected) {
                connectedSignal.countDown();
            }
        }
    });
    connectedSignal.await();
    return zk;
}

注：Zookeeper的監控只有在使用getData(),exists(),getChildren()這幾個方法時才會觸發watcher

常見問題

Zk基礎知識總結

  1. zookeeper是一個開源的分散式協調服務框架。
  2. 應用場景：分散式通知/協調、負載均衡、配置中心、分散式鎖、分散式佇列等。
  3. 使用ZAB協議，Paxos演算法。
  4. 節點型別：持久節點、持久順序節點、臨時節點、臨時順序節點。
  5. 不是永久的，一次性的，需要藉助第三方工具實現重複註冊。
  6. 部署模式：單機模式、偽叢集模式、叢集模式。
  7. 叢集角色：leader、follower、observer。
  8. 叢集規則為2N+1臺，N>0，即3臺。
  9. 叢集需要一半以上的機器可用，所以，3臺掛掉1臺還能工作，2臺不能。
  10. 3.5版本開始支援動態擴容。
  11. java客戶端：zk自帶的zkclient及Apache開源的Curator。
  12. chubby是google的，完全實現paxos演算法，不開源。zookeeper是chubby的開源實現，使用zab協議，paxos演算法的變種。
  13. 常用命令：ls get set create delete等。

1.zookeeper是如何保證事務的順序一致性的

zookeeper採用了遞增的事務Id來標識，所有的proposal都在被提出的時候加上了zxid，zxid實際上是一個64位的數字，高32位是epoch用來標識leader是否發生改變，如果有新的leader產生出來，epoch會自增，低32位用來遞增計數。

當新產生proposal的時候，會依據資料庫的兩階段過程，首先會向其他的server發出事務執行請求，如果超過半數的機器都能執行並且能夠成功，那麼就會開始執行

2.zookeeper是如何選取主leader的？

當leader崩潰或者leader失去大多數的follower，這時zk進入恢復模式，通過節點間廣播訊息，推舉出資料最新的節點，成為 Leader。

3.ZNode 的分類

zk中znode型別有四種：

  • 持久化節點
  • 持久化順序節點(有順序 能夠在註冊機器等許多場景用到)
  • 臨時節點
  • 臨時順序節點

4.zk的通知機制

client端會對某個znode建立一個watcher事件，當該znode發生變化時，這些client會收到zk的通知，然後client可以根據znode變化來做出業務上的改變等。

5.zk的配置管理

程式分散式的部署在不同的機器上，將程式的配置資訊放在zk的znode下，當有配置發生改變時，也就是znode發生變化時，可以通過改變zk中某個目錄節點的內容，利用water通知給各個客戶端 從而更改配置。

6.zk的命名服務

命名服務是指通過指定的名字來獲取資源或者服務的地址，利用zk建立一個全域性的路徑，這個路徑就可以作為一個名字，指向叢集中的叢集，提供的服務的地址，或者一個遠端的物件等等。

7.分散式通知和協調

對於系統排程來說：操作人員傳送通知實際是通過控制檯改變某個節點的狀態，然後zk將這些變化傳送給註冊了這個節點的watcher的所有客戶端。

對於執行情況彙報：每個工作程序都在某個目錄下建立一個臨時節點。並攜帶工作的進度資料，這樣彙總的程序可以監控目錄子節點的變化獲得工作進度的實時的全域性情況。

8.機器中為什麼會有master

在分散式環境中，有些業務邏輯只需要叢集中的某一臺機器進行執行，其他的機器可以共享這個結果，這樣可以大大減少重複計算，提高效能，於是就需要進行master選舉。

2. 分散式協調zookeeper的如何進行領導選舉的？

（1）選舉原理圖：

（2）具體解釋如下：

1）每個Server啟動以後都詢問其它的Server它要投票給誰。

2）對於其他server的詢問，server每次根據自己的狀態都回復自己推薦的leader的id和上一次處理事務的zxid（系統啟動時每個server都會推薦自己）

3）收到所有Server回覆以後，就計算出zxid最大的哪個Server，並將這個Server相關資訊設定成下一次要投票的Server。

4）計算這過程中獲得票數最多的的sever為獲勝者，如果獲勝者的票數超過半數，則該server被選為leader。否則，繼續這個過程，直到leader被選舉出來。

Dubbo中zookeeper做註冊中心，如果註冊中心叢集都掛掉，釋出者和訂閱者之間還能通訊麼？

可以。因為啟動duboo時，消費者會從zookeeper獲取註冊的生產者的地址介面等資料，快取在本地。每次呼叫時，按照本地儲存的地址進行呼叫。

另外，dubbo在健壯性的文件中也有描述：

1）註冊中心對等叢集，任意一臺宕機後，將自動切換懂啊另一臺

2）註冊中心全部宕機後，服務提供者和服務消費者仍能通過本地快取通訊

zk的通知機制

client端會對某個znode建立一個watcher事件，當該znode發生變化時，這些client會收到zk的通知，然後client可以根據znode變化來做出業務上的改變等。

zk的配置管理

程式分散式的部署在不同的機器上，將程式的配置資訊放在zk的znode下，當有配置發生改變時，也就是znode發生變化時，可以通過改變zk中某個目錄節點的內容，利用water通知給各個客戶端 從而更改配置。

zk的命名服務

命名服務是指通過指定的名字來獲取資源或者服務的地址，利用zk建立一個全域性的路徑，這個路徑就可以作為一個名字，指向叢集中的叢集，提供的服務的地址，或者一個遠端的物件等等。

分散式通知和協調

對於系統排程來說：操作人員傳送通知實際是通過控制檯改變某個節點的狀態，然後zk將這些變化傳送給註冊了這個節點的watcher的所有客戶端。
對於執行情況彙報：每個工作程序都在某個目錄下建立一個臨時節點。並攜帶工作的進度資料，這樣彙總的程序可以監控目錄子節點的變化獲得工作進度的實時的全域性情況。

機器中為什麼會有master；
在分散式環境中，有些業務邏輯只需要叢集中的某一臺機器進行執行，其他的機器可以共享這個結果，這樣可以大大減少重複計算，提高效能，於是就需要進行master選舉。

參考：

https://www.cnblogs.com/shengkejava/p/5611671.html

https://www.cnblogs.com/leocook/p/zk_1.html

https://www.zhihu.com/question/35139415

http://ningg.top/zookeeper-lesson-11-zookeeper-application/

http://www.cnblogs.com/leesf456/p/6036548.html

https://www.cnblogs.com/lanqiu5ge/p/9405601.html

https://mp.weixin.qq.com/s/AE_2U5tUjEZSYoLovlcU6g

https://www.w3cschool.cn/zookeeper/zookeeper_fundamentals.html

https://www.cnblogs.com/raphael5200/p/5285583.html

 

相關推薦

ZooKeeper學習筆記二

實戰使用 ZooKeeper框架的安裝 1. 下載並tar開解壓（略） 2. 建立配置檔案 建立conf/zoo.cfg 配置檔案 tickTime=2000 dataDir=/var/lib/zookeeper clientPort=2181  引數說明:

Zookeeper學習筆記十二之 網路配置與叢集配置

網路配置 這些配置引數可以限制伺服器和客戶端之間的通訊 zookeeper.globalOutstandingLimit: ZooKeeper中待處理請求的最大值，ZooKeeper客戶端提交請求比ZooKeeper伺服器處理請求要快很多，服務端將會對接收到的請求佇列化

zookeeper學習筆記（二）--zkclient&curator詳解

Zookeeper核心概念 分散式配置中心（儲存）：disconf（zk）  diamond（mysql+http） 什麼是znode ZooKeeper操作和維護的為一個個資料節點，稱為 znode，採用類似檔案系統的層級樹狀結構進行管理。如果 znode

SpringMVC學習筆記二：常用註解

title c學習 請求 pin 學習 lin att 詳解 stp 轉載請註明原文地址：http://www.cnblogs.com/ygj0930/p/6831976.html 一、用於定義類的註解：@Controller @Controller 用於標記在一個類上，

Scala學習筆記(二)(for循環相關)

spa nts multiple bool val turn 優化 n) 例子 Scala裏if...else語句 if語句不管是在哪種語言裏是使用最多的語句了. scala的if語句與java如出一轍. 舉個栗子就不再贅述: 一個 if 語句的語法： if(Boolean

ES6學習筆記(二)——字符串擴展

兩個 -m 開始 部分 學習筆記 erro xxx ocs 個數 相信很多人也和我一樣，不喜歡這樣循規蹈矩的逐條去學習語法，很枯燥乏味。主要是這樣學完一遍之後，沒過一段時間就忘到九霄雲外了。不如實際用到的時候研究它記得牢靠，所以我就整理成筆記，加深記憶的同時便於復習查看。

MySQL學習筆記(二）

發送 int 賦值 數據庫基礎知識 font 字符 需要 con spa -- 回顧 數據庫基礎知識： 關系型數據庫（磁盤），建立在關系模型上的數據庫，數據結構（二維表），浪費空間。 操作數據的指令集合：SQL(DDL,DML[DQL]和DCL) 完整性約束：表內和表之間（

Android第一行代碼學習筆記二---在活動中使用Toast

一行代碼 就會 onclick log sta contex instance and undle Toast：是Android系統提供的一種非常好的提醒方式，在程序中可以使用它將一些短小的信息通知給用戶，這些信息會在一段時間後自動消失，並且不會占用任何屏幕空間。 首先需要

framework7學習筆記二：基礎知識

部分 cnblogs query 基礎 logs code 自己 $$ pan 一：DOM7 framework7有自己的 DOM7 - 一個集成了大部分常用DOM操作的高性能庫。它的用法和jQuery幾乎是一樣的，包括大部分常用的方法和jquery風格的鏈式調用。 在開發

Zookeeper 學習筆記之 節點個數

容災 2個 工作 不必要 ade 為什麽 per 正常 lead zookeeper的節點配置的個數推薦是奇數個這是為什麽呢？ 選舉機制 兩種情況無法選出leader： 整個集群只有2臺服務器（註意不是只剩2臺，而是集群的總節點數為2） 整個集群超過半數機器掛掉。

node.js學習筆記二之版本問題

nodejs targe tle 下一個 .cn blank 網站 mage 功能 一、版本說明 進入node.js官網https://nodejs.org/en/download/ 點擊上面的【All download options】進入到所有下載列表的地址 下載地

Java基礎學習筆記二十二 網絡編程

數據丟失 交互圖 主動 總結 交互 servers -- 處理 關閉 絡通信協議 通過計算機網絡可以使多臺計算機實現連接，位於同一個網絡中的計算機在進行連接和通信時需要遵守一定的規則，這就好比在道路中行駛的汽車一定要遵守交通規則一樣。在計算機網絡中，這些連接和通信的規則被

Java基礎學習筆記二十三 Java核心語法之反射

負責 目錄 boolean tostring 筆記 str 編譯 三種 進制 類加載器 類的加載 當程序要使用某個類時，如果該類還未被加載到內存中，則系統會通過加載，鏈接，初始化三步來實現對這個類進行初始化。 加載就是指將class文件讀入內存，並為之創建一個Clas

Java基礎學習筆記二十四 MySQL安裝圖解

password data 默認 count 重新 doc documents tran xp系統 、MYSQL的安裝 １、打開下載的mysql安裝文件mysql-5.5.27-win32.zip，雙擊解壓縮，運行“setup.exe”。

Java基礎學習筆記二十七 DBUtils和連接池

ride 基本 代碼塊 ear 不同 一行 ria 靜態方法 ... DBUtils 如果只使用JDBC進行開發，我們會發現冗余代碼過多，為了簡化JDBC開發，本案例我們講采用apache commons組件一個成員：DBUtils。DBUtils就是JDBC的簡化開發工

函數響應式編程及ReactiveObjC學習筆記 (二)

per 舉例 def nsobject uibutton 為我 string method 寫法 之前我們初步認識了RAC的設計思路跟實現方式, 現在我們再來看看如果使用它以及它能幫我們做什麽 One of the major advantages of RAC is

Zookeeper 學習筆記之 Leader Election

通知 客戶 就會 lec 搶占式 類型 二次 lead per ZooKeeper四種節點類型： Persist Persist_Sequential Ephemeral Ephemeral_Sequential 在節點上可註冊的Watch，客戶端先得到通知再得到數據，

html學習筆記二

清空表 多行文本 按鈕 nbsp sel 沒有效果 提交表單 tip 效果 常用標簽學習： <img/>（單標簽） 圖片標簽 使用效果：在網頁中插入一張圖片，可設置alt屬性，在沒有加載到圖片的時候顯示提示文字（插入圖片有絕對路徑和相對路徑）。 <form

一起學ASP.NET Core 2.0學習筆記(二): ef core2.0 及mysql provider 、Fluent API相關配置及遷移

upd order rac option 包管理 rtl code create .net core 不得不說微軟的技術叠代還是很快的，上了微軟的船就得跟著她走下去，前文一起學ASP.NET Core 2.0學習筆記(一): CentOS下 .net core2 s

學習筆記(二)

類型 名稱 提取 改變 資源 它的 char 進行 找不到 getenv()：讀取環境變量當前值得函數原型：char *getenv(const char *name)；功能：返回一給定的環境變量值，環境變量名可大寫或小寫。如果指定的變量在環境中未定義，則返回一空串。 頭文