從字面上來看，ZooKeeper表示動物園管理員，這是一個十分奇妙的名字，我們又想起了Hadoop生態系統中，許多專案的Logo都採用了動物，比如Hadoop採用了大象的形象，所以我們可以猜測ZooKeeper就是對這些動物進行一些管理工作的。

一、ZooKeeper基礎介紹

1.1 動物園也要保障安全

　　zookeeper是hadoop下面的一個子專案，用來協調跟hadoop相關的一些分散式的框架，如hadoop, hive, pig等, 其實他們都是動物，所以叫zookeeper ——“動物園管理員”。動物園裡當然有好多的動物，遊客可以根據動物園提供的嚮導圖到不同的場館觀賞各種型別的動物，而不是像走在原始叢林裡，心驚膽顫的被動物所觀賞。為了讓各種不同的動物呆在它們應該呆的地方，而不是相互串門，或是相互廝殺，就需要動物園管理員按照動物的各種習性加以分類和管理，這樣我們才能更加放心安全的觀賞動物。

1.2 程序內的協調方法

　　在實際應用中，Zookeeper主要是針對大型分散式系統進行高可靠的協調。由這個定義我們知道zookeeper是個協調系統，作用的物件是分散式系統。說到協調，我們可以聯想到的現實生活中很多十字路口的交通協管，他們手握著小紅旗，指揮車輛和行人是不是可以通行。如果我們把車輛和行人比喻成執行在計算機中的單元(執行緒)，那麼這個協管是幹什麼的？很多人都會想到，這不就是鎖麼？對，在一個併發的環境裡，我們為了避免多個執行單元對共享資料同時進行修改，造成資料損壞的情況出現，我們就必須依賴像鎖這樣的協調機制，讓有的執行緒可以先操作這些資源，然後其他執行緒等待。對於程序內的鎖來講，我們使用的各種語言平臺都已經給我們準備很多種選擇。例如在C#中，最常用的莫過於藉助語法糖lock構造同步塊：

　　int Withdraw(int amount)
    {
        if (balance < 0)
        {
            throw new Exception("Negative Balance");
        }

        lock(thisLock)
        {
            if (balance >= amount)
            {
                Console.WriteLine("Balance before Withdrawal :  " + balance);
                Console.WriteLine(
 
"Amount to Withdraw        : -" + amount);
                balance = balance - amount;
                Console.WriteLine("Balance after Withdrawal  :  " + balance);
                return amount;
            }
            else
            {
                return 0;
            }
        }
    }

1.3 分散式環境中的協調

　　在程序內進行協調我們可以使用語言，平臺，作業系統等為我們提供的機制。那麼如果我們在一個分散式環境中呢？也就是我們的程式執行在不同的機器上，這些機器可能位於同一個機架，同一個機房又或不同的資料中心。在這樣的環境中，我們要實現協調該怎麼辦？那麼這就是分散式協調服務要乾的事情。

　　於是，Google創造了Chubby，而ZooKeeper則是對於Chubby的一個開源實現。

Definition：ZooKeeper是一種為分散式應用所設計的高可用、高效能且一致的開源協調服務，它提供了一項基本服務：分散式鎖服務。由於ZooKeeper的開源特性，後來我們的開發者在分散式鎖的基礎上，摸索了出了其他的使用方法：配置維護、組服務、分散式訊息佇列、分散式通知/協調等。

1.4 ZooKeeper的應用場景

　　（1）統一命名服務

　　有一組伺服器向客戶端提供某種服務（例如：使用LVS技術構建的Web網站叢集，就是由N臺伺服器組成的叢集，為使用者提供Web服務），我們希望客戶端每次請求服務端都可以找到服務端叢集中某一臺伺服器，這樣服務端就可以向客戶端提供客戶端所需的服務。對於這種場景，我們的程式中一定有一份這組伺服器的列表，每次客戶端請求時候，都是從這份列表裡讀取這份伺服器列表。那麼這分列表顯然不能儲存在一臺單節點的伺服器上，否則這個節點掛掉了，整個叢集都會發生故障，我們希望這份列表時高可用的。高可用的解決方案是：這份列表是分散式儲存的，它是由儲存這份列表的伺服器共同管理的，如果儲存列表裡的某臺伺服器壞掉了，其他伺服器馬上可以替代壞掉的伺服器，並且可以把壞掉的伺服器從列表裡刪除掉，讓故障伺服器退出整個叢集的執行，而這一切的操作又不會由故障的伺服器來操作，而是叢集里正常的伺服器來完成。這是一種主動的分散式資料結構，能夠在外部情況發生變化時候主動修改資料項狀態的資料機構。Zookeeper框架提供了這種服務。這種服務名字就是：統一命名服務，它和javaEE裡的JNDI服務很像。

　　（2）分散式鎖服務

　　當分散式系統操作資料，例如：讀取資料、分析資料、最後修改資料。在分散式系統裡這些操作可能會分散到叢集裡不同的節點上，那麼這時候就存在資料操作過程中一致性的問題，如果不一致，我們將會得到一個錯誤的運算結果，在單一程序的程式裡，一致性的問題很好解決，但是到了分散式系統就比較困難，因為分散式系統裡不同伺服器的運算都是在獨立的程序裡，運算的中間結果和過程還要通過網路進行傳遞，那麼想做到資料操作一致性要困難的多。Zookeeper提供了一個鎖服務解決了這樣的問題，能讓我們在做分散式資料運算時候，保證資料操作的一致性。

　　（3）配置管理

　　在分散式系統裡，我們會把一個服務應用分別部署到n臺伺服器上，這些伺服器的配置檔案是相同的（例如：我設計的分散式網站框架裡，服務端就有4臺伺服器，4臺伺服器上的程式都是一樣，配置檔案都是一樣），如果配置檔案的配置選項發生變化，那麼我們就得一個個去改這些配置檔案，如果我們需要改的伺服器比較少，這些操作還不是太麻煩，如果我們分散式的伺服器特別多，比如某些大型網際網路公司的hadoop叢集有數千臺伺服器，那麼更改配置選項就是一件麻煩而且危險的事情。這時候zookeeper就可以派上用場了，我們可以把zookeeper當成一個高可用的配置儲存器，把這樣的事情交給zookeeper進行管理，我們將叢集的配置檔案拷貝到zookeeper的檔案系統的某個節點上，然後用zookeeper監控所有分散式系統裡配置檔案的狀態，一旦發現有配置檔案發生了變化，每臺伺服器都會收到zookeeper的通知，讓每臺伺服器同步zookeeper裡的配置檔案，zookeeper服務也會保證同步操作原子性，確保每個伺服器的配置檔案都能被正確的更新。

　　可以看出，zookeeper是一個典型的觀察者模式的應用。

　　（4）叢集管理

　　叢集管理是很困難的，在分散式系統里加入了zookeeper服務，能讓我們很容易的對叢集進行管理。叢集管理最麻煩的事情就是節點故障管理，zookeeper可以讓叢集選出一個健康的節點作為master，master節點會知道當前叢集的每臺伺服器的執行狀況，一旦某個節點發生故障，master會把這個情況通知給叢集其他伺服器，從而重新分配不同節點的計算任務。Zookeeper不僅可以發現故障，也會對有故障的伺服器進行甄別，看故障伺服器是什麼樣的故障，如果該故障可以修復，zookeeper可以自動修復或者告訴系統管理員錯誤的原因讓管理員迅速定位問題，修復節點的故障。大家也許還會有個疑問，master故障了，那怎麼辦了？zookeeper也考慮到了這點，zookeeper內部有一個“選舉領導者的演算法”，master可以動態選擇，當master故障時候，zookeeper能馬上選出新的master對叢集進行管理。

二、ZooKeeper叢集模式環境搭建

2.1 ZooKeeper叢集模式典型架構

　　（1）典型架構圖如下所示：

　　（2）本次試驗架構圖如下所示：

2.2 ZooKeeper叢集模式搭建步湊

注意：ZooKeeper伺服器叢集規模不小於3個節點，要求各伺服器之間系統時間要保持一致；

　　（1）通過FTP工具上傳ZooKeeper安裝包，我這裡使用的是3.4.5版本：

　　（2）解壓ZooKeeper安裝包，並將解壓後的資料夾名稱改為zookeeper：

　　①tar -zvxf zookeeper-3.4.5.tar.gz

　　②mv zookeeper-3.4.5 zookeeper

　　（3）修改環境變數：vim /etc/profile

　　①增加一行：export ZOOKEEPER_HOME=/usr/local/zookeeper

　　②修改PATH：export PATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH

　　③使配置生效：source /etc/profile

（4）進入zookeeper的conf目錄下，修改檔名：mv zoo_sample.cfg  zoo.cfg

（5）編輯zoo.cfg：vim zoo.cfg

　　①修改dataDir=/usr/local/zookeeper/data
　　②新增server.0=hadoop-master:2888:3888
　　　　　　server.1=hadoop-slave1:2888:3888
　　　　　　server.2=hadoop-slave2:2888:3888

　　（6）建立data資料夾，並建立myid檔案：

　　①新建data資料夾：mkdir /usr/local/zookeeper/data

　　②新建myid檔案：vim myid，並設定第一臺server為0。

（7）複製zookeeper目錄至其餘兩臺伺服器中：

　　①scp /usr/local/zookeeper hadoop-slave1:/usr/local/

　　②scp /usr/local/zookeeper hadoop-slave2:/usr/local/

（8）複製環境變數配置檔案至其餘兩臺伺服器中：

　　①scp /etc/profile hadoop-slave1:/etc

　　②scp /etc/profile hadoop-slave2:/etc

　　（9）在其餘兩臺伺服器中修改myid檔案：設定為1和2；

　　（10）啟動ZooKeeper，分別在三個節點中執行命令：zkServer.sh start

　　（11）檢驗ZooKeeper叢集節點角色狀態，分別在三個節點中執行命令：zkServer.sh status

Role：ZooKeeper中包含以下角色：

①領導者（leader），負責進行投票的發起和決議，更新系統狀態； ②學習者（learner），包括跟隨者（follower）和觀察者（observer），follower用於接受客戶端請求並想客戶端返回結果，在選主過程中參與投票；observer可以接受客戶端連線，將寫請求轉發給leader，但observer不參加投票過程，只同步leader的狀態，observer的目的是為了擴充套件系統，提高讀取速度；

三、ZooKeeper簡單測試

　　搭建好叢集環境後，就可以進行簡單的讀寫一致性測試了，這裡我們通過進入zookeeper的bin目錄下的zkCli.sh來完成下面的操作：

　　（1）在其中一個節點192.168.80.100上執行一個寫操作：create /MyTest test

　　（2）在其他兩個節點上執行讀操作：get /MyTest

　　TIP：可以在一個節點中通過zkCli.sh -server hadoop-slave1:2181來遠端登入

　　（3）在其中一個節點192.168.80.101上執行一個修改操作：

　　（4）在其他兩個節點上執行讀操作：

參考資料

作者：周旭龍

本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連結。