1. 程式人生 > >使用Zookeeper實現選舉

使用Zookeeper實現選舉

概述

分散式的叢集很容易有“選舉”的需求,所謂的選舉可以先簡單的理解為選出叢集多個節點的“老大”(leader)

例子1 —— 主從節點選舉

舉個不是很恰當的例子(mysql不是使用zk來做選舉的),我們使用mysql時候,為了做到高可用,可能會同時布兩個mysql,一主多備。這個時候,如果master節點掛了,多個slave節點哪一個會被選為主節點?這裡就涉及到“選舉”,從多個slave節點裡選出一個新的master。

例子2 —— 定時任務

又比如,我們經常有定時任務的需求,為了保證高可用。可能跑定時任務的服務會部署多臺。

假設有這樣一個任務,它會掃表A,然後將這個表A的資料插入到另一個表B裡。當只有一臺機器跑這個任務,沒有問題。但是如果同一時刻,有多臺機器在跑,資料就會重複插入到表B裡。

所以理想的情況可能是,同一時刻只有一臺機器在跑定時任務。當這臺機器掛掉了,立刻在其他機器裡面選舉出一臺機器跑定時任務。

使用zookeeper來做叢集的選舉

總的來說,選舉這種需求還是不少的。zookeeper是一個成熟的分散式協調服務,通過使用zookeeper我們可以較為方便的實現叢集的選舉。

leader選舉 —— 非公平模式

Zookeeper節點型別

要想了解如何使用zookeeper實現選舉,首先需要了解zookeeper節點的型別

當我們建立zookeeper節點時候,可以填一個CreateMode引數,通過這個引數可以指定建立的節點的型別。

1)PERSISTENT 該值會永久存在,哪怕建立該節點的機器掛了,節點資料依然會存在。注意,如果有兩臺機器建立了重複的key,比如/data,第二次建立會失敗。
2)PERSISTENT_SEQUENTIAL 比如我們建立一個/test節點,zk會在後面加一串數字比如 /test/test0000000001。如果重複建立,會建立一個/test/test0000000002節點(一直往後加1,可以多次建立)
3)EPHEMERAL 臨時節點,當建立該節點的機器失連了,建立的這個節點會被刪除
4)EPHEMERAL_SEQUENTIAL 和 PERSISTENT_SEQUENTIAL差不多的,只是節點是臨時的。

使用zookeeper實現非公平模式選舉

瞭解了zookeeper節點的型別,我們就可以通過zk來實現選舉。

什麼是非公平模式選舉

所謂的非公平模式的選舉是相對的,假設有10臺機器進行選舉,最後會選到哪一個機器,是完全隨機的(看誰搶的快)。比如選到了A機器。某一時刻,A機器掛掉了,這時候會再次進行選舉,這一次的選舉依然是隨機的。與某個節點是不是先來的,是不是等了很久無關。這種選舉演算法,就是非公平的演算法。

非公平選舉演算法

1)首先通過zk建立一個 /server 的PERSISTENT節點
2)多臺機器同時建立 /server/leader EPHEMERAL子節點
3)子節點只能建立一個,後建立的會失敗。建立成功的節點被選為leader節點
4)所有機器監聽 /server/leader 的變化,一旦節點被刪除,就重新進行選舉,搶佔式地建立 /server/leader節點,誰建立成功誰就是leader。

非公平選舉演算法實現示例

public static void main(String[] args) throws Exception {
    zk = new ZooKeeper("127.0.0.1:2181", FairSelectDemo.SESSION_TIMEOUT, new Watcher() {
        @Override
        public void process(WatchedEvent event) {
            System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
        }
    });
    //zk啟動後試著進行選舉
    selection();

    TimeUnit.HOURS.sleep(1); //阻塞住
    zk.close();
}

private static void selection() throws Exception {
    try {
        //1、建立/server(這個通過zkCli建立好了),引數3表示公有節點,誰都可以改
        zk.create("/server/leader", "node1".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);
        //2、沒有拋異常,表示建立節點成功了
        System.out.println("選舉成功");
    } catch (KeeperException.NodeExistsException e) {
        System.out.println("選舉失敗");
    } finally {
        //3、監聽節點刪除事件,如果刪除了,重新進行選舉
        zk.getData("/server/leader", new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
                try {
                    if (Objects.equals(event.getType(), Event.EventType.NodeDeleted)) {
                        selection();
                    }
                } catch (Exception e) {
                }
            }
        }, null);
    }
}

測試結果:

被選舉的客戶端被close掉後

公平選舉

非公平選舉的區別是,增加了先來的優先被選為leader的保證。

公平選舉演算法

1)首先通過zk建立一個 /server 的PERSISTENT節點
2)多臺機器同時建立 /server/leader EPHEMERAL_SEQUENTIAL子節點
3)/server/leader000000xxx 後面數字最小的那個節點被選為leader節點
4)所有機器監聽 前一個 /server/leader 的變化,比如 (leader00001監聽 leader00002) 一旦節點被刪除,就獲取/server下所有leader,如果自己的數字最小那麼自己就被選為leader

公平選舉演算法的實現

public static void main(String[] args) throws Exception {
    zk = new ZooKeeper("127.0.0.1:2181", UnFairSelectDemo.SESSION_TIMEOUT, new Watcher() {
        @Override
        public void process(WatchedEvent event) {
            System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
        }
    });

    String leaderPath = "/server/leader";

    //1、建立/server(這個通過zkCli建立好了),注意這裡是EPHEMERAL_SEQUENTIAL的
    //2、和非公平模式不一樣,只需要建立一次節點就可以了
    nodeVal = zk.create(leaderPath, "node1".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);

    //System.out.println(nodeVal);

    //啟動後試著進行選舉
    selection();

    TimeUnit.HOURS.sleep(1); //阻塞住
    zk.close();
}

private static void selection() throws Exception {
    //2、遍歷/server下的子節點,看看自己的序號是不是最小的
    List<String> children = zk.getChildren("/server", null);
    Collections.sort(children);

    String formerNode = "";  //前一個節點,用於監聽
    for (int i = 0; i < children.size(); i++) {
        String node = children.get(i);
        if (nodeVal.equals("/server/" + node)) {
            if (i == 0) {
                //第一個
                System.out.println("我被選為leader節點了");
            } else {
                formerNode = children.get(i - 1);
            }
        }
    }
    if (!"".equals(formerNode)) {
            //自己不是第一個,如果是第一個formerNode應該沒有值
        System.out.println("我競選失敗了");
        //3、監聽前一個節點的刪除事件,如果刪除了,重新進行選舉
        zk.getData("/server/" + formerNode, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
                try {
                    if (Objects.equals(event.getType(), Event.EventType.NodeDeleted)) {
                        selection();
                    }
                } catch (Exception e) {
                }
            }
        }, null);
    }
    //System.out.println("children:" + children);
}

測試結果

關閉被選為的leader節點後

總結

通過zookeeper的api,我們可以很容易實現叢集的選舉。當然此處介紹的zookeeper的選舉比較適合於機器平權的情況,比如三臺被選舉的機器是一模一樣的。如果有優先順序,有排程,需要增加其他演算法。這種方式就不適合了。

但是其實上述的寫法不是很嚴謹,比如公平選舉演算法,如果中間一個節點掛掉了,假設有01,02,03,04節點 比如02掛掉了,03一直監聽著02,那麼這個時候03應該改為監聽01,否則,當01掛了,沒有任何節點能被選為leader。 除此之外,各種異常狀態都需要我們自己處理。

為了更加方便的使用選舉,我們可以使用Curator。Curator為我們封裝了操作zookeeper底層的各種細節,比使用原生的zookeeper更為方便。下一篇部落格會介紹下Curator的使用。