前言

ZooKeeper是一個為分散式應用所設計的開源協調服務。

• 大資料 基礎概念
• 大資料 Centos基礎
• 大資料 Shell基礎
• 大資料 ZooKeeper
• 大資料 Hadoop介紹、配置與使用
• 大資料 Hadoop之HDFS
• 大資料 MapReduce
• 大資料 Hive
• 大資料 Yarn
• 大資料 MapReduce使用
• 大資料 Hadoop高可用HA

介紹

ZooKeeper是一個為分散式應用所設計的開源協調服務。它主要為使用者提供同步、配置管理、分組和命名等服務，減輕分散式應用程式所承擔的協調任務。ZooKeeper

設計目標

ZooKeeper 名稱空間

ZooKeeper擁有一個層次的名稱空間。在名稱空間中，每個結點稱為Znode，每個Znode包含了它自身和它的子節點相關聯的資料。指向結點的路徑必須使用規範的絕對路徑表示，並且以“/”來分隔。【在ZooKeeper中不允許使用相對路徑來表示】

每個Znode維護著一個屬性結構，包含了資料的版本號dataVersion，時間戳ctime、mtime等狀態資訊。

[zk: localhost:2181(CONNECTED) 14] get /app2
aaabbb
cZxid = 0x600000004 # 建立事務編號
ctime = Thu Sep 13 21:47:07 EDT 2018 
mZxid = 0x600000004 # 修改事務編號
mtime = Thu Sep 13 21:47:07 EDT 2018
pZxid = 0x600000004 # 持久化事務編號
cversion = 0 # 建立版本
dataVersion = 0
aclVersion = 0 # 許可權版本
ephemeralOwner = 0x65d5b998e80000
dataLength = 6 # 資料長度
numChildren = 0 # 子節點個數

看不懂這些屬性，可以參見【Znode 屬性】

Znode 主要特徵

Znode 屬性

ZooKeeper ACL

ZooKeeper使用ACL對Znode進行訪問控制。ACL擁有三種模式：

• user：檔案的擁有者
• group：使用者組
• world：

一個ACL和一個ZooKeeper節點是對應的，並且不存在繼承關係，相互獨立。

訪問控制權限所規定的許可權

驗證模式

ZooKeeper一致性保證

ZooKeeper Leader選舉

• Zookeeper的Leader選舉
• ZooKeeper的內部資料模型和Leader選舉演算法

搭建環境

• 環境：VMWare下的四個Centos7虛擬機器。

首先，當然是先下載環境啦～點選跳轉到下載頁面

• 修改主機名：（也可以不修改）
  • vim /etc/sysconfig/network
  • 增加：HOSTNAME=hadoop
• 下載：wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
• 解壓：tar -zxvf zookeeper-3.4.10.tar.gz
• 移動到/opt目錄下：
  • sudo mv zookeeper-3.4.10 /opt
  • cd /opt
  • sudo mv zookeeper-3.4.10 zookeeper
• 修改配置檔案：
  • cd conf
  • cp zoo_sample.cfg zoo.cfg
  • vim zoo.cfg
  • 修改dataDir目錄：
    • mkdir /opt/zookeeper/zooData
    • 修改dataDir=/tmp/zookeeper為/opt/zookeeper/zooData
  • 增加Log輸出目錄：
    • mkdir /opt/zookeeper/zooLog
    • dataLogDir=/opt/zookeeper/zooLog
  • 增加服務端：
    • 增加一個IP地址別名，後面配置使用。
      • vim /ect/hosts
      • 說明：IP地址 別名
      • 192.168.80.8 node0
      • 192.168.80.9 node1
      • 192.168.80.10 node2
      • 192.168.80.11 node3
    • 說明：等號後引數分別為：主機名、心跳埠、資料埠
      • server.1=node1:2888:3888
      • server.2=node2:2888:3888
      • server.3=node3:2888:3888
  • 配置myid：
    • 在每個服務端都需要這樣子配，但是myid不允許相同。
    • myid就是上述的server.數字的數字，即server.1中的1就是myid的值。
    • echo 0 > /opt/zookeeper/zooData/myid

免密登入訪問

• 配置SSH免密登入訪問。
  • 生成公鑰祕鑰：ssh-keygen，一路回車即可。
  • 進入~/.ssh資料夾，建立一個touch authorized_keys檔案，將需要SSH免登入的服務端的公鑰id_rsa.pub中的內容複製到authorized_keys中即可。

分發Zookeeper

• 將配置好的zookeeper資料夾分發到其他的服務端上，記得修改myid，和按照上修改配置檔案部分重新修改一遍。
  • scp -r /opt/zookeeper [email protected]:/opt/

關閉防火牆

• 關閉防火牆（其實也可以單獨開某幾個埠吧，為了方便，自行選擇哈～）
  • Centos7
    • systemctl stop firewalld && systemctl disable firewalld
  • Centos6
    • service iptables stop

啟動zookeeper

全部配置完畢之後，就是啟動zookeeper了。
如果啟動不成功的話，可以看看zookeeper/bin/zookeeper.out下的日誌輸出。

• 啟動
  • ./bin/zkServer.sh start
• 檢視狀態
  • ./bin/zkServer.sh status
• 啟動輸出如下：

[[email protected] bin]# ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

• 啟動成功如下：
  • 下面leader是Master伺服器，這個是選舉出來的，如果Master掛掉，會重新隨機選舉出來。
  • follower是Slave伺服器。

[[email protected] bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Mode: leader 

[[email protected] bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Mode: follower

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Mode: follower

• 如果kill -9掉leader，那麼其他節點就會重新投票產生leader。
• 半數機制：叢集中半數以上機器存活，叢集可用。如果低於半數的機器存活，那麼就會出現Error contacting service. It is probably not running.

zkCli Command

使用./bin/zkCli.sh啟動命令列，使用help可以檢視幫助文件。

• ls path [watch]
  • ls 路徑 監聽

[zk: localhost:2181(CONNECTED) 6] ls /
[zookeeper]

• create [-s] [-e] path data acl
  • create 序號 結點型別 路徑 資料 許可權
  • 結點型別有兩種：
    • 短暫ephemeral：斷開連線就會刪除自身結點。
    • 永久persistent：斷開連線不刪除自身結點。
    • Znode有四種形式的結點（預設是persistent）
      • PERSISTENT
      • PERSISTENT_SEQUENTIAL（持久序列/test0000000019 ）
      • EPHEMERAL
      • EPHEMERAL_SEQUENTIAL

[zk: localhost:2181(CONNECTED) 6] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 7] create /app1 aaa
Created /app1
[zk: localhost:2181(CONNECTED) 8] ls /
[zookeeper, app1]
[zk: localhost:2181(CONNECTED) 9] create -s /app2 aaa
Created /app20000000001
[zk: localhost:2181(CONNECTED) 10] ls /
[app20000000001, zookeeper, app1]
[zk: localhost:2181(CONNECTED) 11] create -e /app2 aaabbb
Created /app2
[zk: localhost:2181(CONNECTED) 12] ls /                  
[app20000000001, zookeeper, app2, app1]

• get path [watch]，獲取資料
  • get 路徑 監聽

[zk: localhost:2181(CONNECTED) 14] get /app2
aaabbb
cZxid = 0x600000004 # 建立事務編號
ctime = Thu Sep 13 21:47:07 EDT 2018 
mZxid = 0x600000004 # 修改事務編號
mtime = Thu Sep 13 21:47:07 EDT 2018
pZxid = 0x600000004 # 持久化事務編號
cversion = 0 # 建立版本
dataVersion = 0
aclVersion = 0 # 許可權版本
ephemeralOwner = 0x65d5b998e80000
dataLength = 6 # 資料長度
numChildren = 0 # 子節點個數

• set path data [version]，設定結點資料
  • set 路徑 資料 [版本號]

# 設定資料為Hello_world
[zk: localhost:2181(CONNECTED) 15] set /app2 Hello_world 
cZxid = 0x600000004
ctime = Thu Sep 13 21:47:07 EDT 2018
mZxid = 0x600000005
mtime = Thu Sep 13 22:17:11 EDT 2018
pZxid = 0x600000004
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x65d5b998e80000
dataLength = 11
numChildren = 0
[zk: localhost:2181(CONNECTED) 16] get /app2
Hello_world # 重新設定的資料
cZxid = 0x600000004
ctime = Thu Sep 13 21:47:07 EDT 2018
mZxid = 0x600000005
mtime = Thu Sep 13 22:17:11 EDT 2018
pZxid = 0x600000004
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x65d5b998e80000
dataLength = 11
numChildren = 0

• delete path [version]
  • delete 路徑 版本號

[zk: localhost:2181(CONNECTED) 18] delete /app2
[zk: localhost:2181(CONNECTED) 19] ls /app2
Node does not exist: /app2

監聽資料的變化

• get path [watch]
  • get 路徑 監聽器
  • 監聽效果有且僅有一次，換句話時候，就是隻能監聽一次，一次之後就失效了，需要重新建立監聽器。

Java API使用

依賴庫

• log4j-1.2.17.jar
• zookeeper-3.4.6.jar

程式碼示例

import org.apache.log4j.BasicConfigurator;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooDefs;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;
import org.junit.BeforeClass;
import org.junit.Test;

import java.util.List;

public class Test1 {
    private static ZooKeeper zk = null;

    @BeforeClass
    public static void setUpBeforeClass() throws Exception {
        // 配置Log4J
        BasicConfigurator.configure();
        // 建立連線
        int sessionTimeout = 2000;
        // 注意：node1、node2、node3需要在/etc/hosts中配置以下內容
        // 192.168.80.9 node1
        // 192.168.80.10 node2
        // 192.168.80.11 node3
        String connectString = "node1:2181,node2:2181,node3:2181";
        zk = new ZooKeeper(connectString, sessionTimeout, watchedEvent -> System.out.println("時間觸發……"));
    }

    /**
     * create方法引數
     * String path, byte[] data, List<ACL> acl, CreateMode createMode
     * path:路徑
     * data:值bytes
     * acl:對節點的訪問控制
     * createMode:節點的型別——短暫，永久，序號
     */
    @Test
    public void create() throws KeeperException, InterruptedException {
        String path = zk.create("/app3", "hello_world".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        System.out.println(path);
    }

    /**
     * 判斷節點是否存在
     */
    @Test
    public void exist() throws KeeperException, InterruptedException {
        String nodeName = "/app1";
        // 設定為true會呼叫zk中的監聽器
        Stat stat = zk.exists(nodeName, true);
        if (stat != null) {
            System.out.println("節點“" + nodeName + "”存在，長度為：" + stat.getDataLength());
        } else {
            System.out.println("節點" + nodeName + "不存在的。");
        }
    }

    /**
     * 獲取子節點
     */
    @Test
    public void getChildren() throws KeeperException, InterruptedException {
        List<String> list = zk.getChildren("/", true);
        for (String str : list) {
            System.out.println(str);
        }
    }

    /**
     * 獲取子節點
     * getChildren(path, watch) 監聽的事件是：節點下的子節點增減變化事件。
     */
    @Test
    public void getChildren1() throws KeeperException, InterruptedException {
        List<String> list = zk.getChildren("/", watchedEvent -> System.out.println("監控節點下的子節點被改變->" + watchedEvent.getPath()));
        for (String str : list) {
            System.out.println(str);
        }
        Thread.sleep(Long.MAX_VALUE);
    }

    /**
     * 獲取節點的內容
     * getData(path,watch) 監聽的事件是：節點資料變化事件。
     */
    @Test
    public void getData1() throws KeeperException, InterruptedException {
        byte[] bytes = zk.getData("/app1", watchedEvent -> System.out.println("資料改變了……"), null);
        System.out.println(new String(bytes));
    }

    /**
     * 獲取節點的內容
     */
    @Test
    public void getData() throws KeeperException, InterruptedException {
        byte[] bytes = zk.getData("/app1", false, null);
        System.out.println(new String(bytes));
    }

    /**
     * 修改節點的內容
     * version為-1時表示自動維護
     */
    @Test
    public void setData() throws KeeperException, InterruptedException {
        Stat stat = zk.setData("/app1", "test".getBytes(), -1);
        System.out.println(stat.toString());
    }

    /**
     * 刪除節點，非空節點刪除不掉。
     * version為-1時表示自動維護
     */
    @Test
    public void delete() throws KeeperException, InterruptedException {
        zk.delete("/app1", -1);
    }
}

附錄

• ZooKeeper學習第一期—Zookeeper簡單介紹，值得一看。
• 分散式服務框架Zookeeper介紹、原理及應用
• 同時開多個Tomcat方法-不用配置環境變數
  • Nginx實現負載均衡的時候需要。