由來

之前根據Impala官方的文件嘗試使用haproxy實現impalad節點的負載均衡，但是這種方案存在一些弊端，例如haproxy本身也是單點的，雖然可以通過keeplived實現haproxy的高可用，但是這樣的配置難免有點太重了，實現impala負載均衡的同時還需要多部署兩個元件，增大了系統運維的複雜度。在大資料生態圈中zookeeper是一個必不可少的自身具有高可用保證的元件，本文探討如何使用zookeeper實現impalad的負載均衡。

HS2方案

眾所周知，hiveserver2中可以整合zookeeper實現高可用，畢竟hiveserver2也可以視為無狀態的服務，如果配置了zookeeper則在程序啟動的時候向zk註冊，可以同時註冊多個hiveserver2服務，在jdbc連線的時候hive-jdbc可以識別獲取服務的配置，然後再向這個服務發起連線，hiveserver2註冊時會指定一個zookeeper的註冊的根目錄，每一個節點在註冊的時候在該節點下寫入一個節點，節點名為：

serverUri=db-87.photo.163.org:21050;version=1.2.1;sequence=0000000013

serverUri由hive.server2.thrift.bind.host和hive.server2.thrift.port配置決定的，version等於當前hiveserver2的版本號，sequence保持一個全域性遞增的序列號。

每一個節點的內容如下：

db-87.photo.163.org:21050
cZxid = 0x2500018ab0
ctime = Wed Dec 28 11:22:33 CST 2016
mZxid = 0x2500018ab0
mtime = Wed Dec 28 11:22:33 CST 2016
pZxid = 0x2500018ab0
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x358997ea0460d74
dataLength = 25
numChildren = 0
 

節點裡面儲存了註冊時的一些資訊，最主要的是第一行服務的IP和埠，這樣在jdbc建立連線的時候客戶端會隨機選擇一個服務節點並且用其資訊替換掉jdbc url中原始的主機和埠資訊，然後再嘗試使用替換之後的url建立連線，如果建立失敗則將其加入到error列表中，繼續隨機獲取下一個節點，直到建立連線成功或者全部服務節點都不可用。

ZK方案

既然hiveserver2原生的帶有這種特性，而impala又可以相容hive-jdbc客戶端，那麼理所當然impala也可以使用這種方案實現負載均衡，現在的問題是impalad在啟動的時候並不會向zookeeper註冊，雖然客戶端提供了該機制，沒有服務端的配合也不可能work，此時，我們的方案是通過不侵入impala程式碼的方式獨立的啟動一個註冊和監控程序，它的作用是為impalad節點註冊，但是由於hiveserver2向zk註冊時建立的是EPHEMERAL型別的臨時節點，所以當session關閉時這個節點也會自動被刪除，這樣客戶端就不能獲取到該服務資訊，因此這個註冊程序必須和impalad程序擁有共同的生命週期（至少不能比impalad的生命週期長）。

我們的做法是建立一個獨立的程序，可以在impalad指令碼啟動的時候隨著impalad程序一塊啟動，該程序啟動時向配置的zookeeper註冊一個節點和改服務的資訊，然後週期的檢查impalad是否存在（目前的方法是通過檢視/proc/pid目錄檢視），如果impalad程序不存在則退出，zookeeper上註冊的臨時節點也隨之被刪除。

該程序直接呼叫hiveserver2的註冊和刪除方法，但是由於HiveServer2中存在的方法都是private的，因此需要使用反射程序變數的設定和函式呼叫。

最後，hiveserver2依賴的配置資訊：

需要註冊到zookeeper的根節點
HIVE_SERVER2_ZOOKEEPER_NAMESPACE("hive.server2.zookeeper.namespace", "hiveserver2",
        "The parent node in ZooKeeper used by HiveServer2 when supporting dynamic service discovery."),

註冊的埠號
HIVE_SERVER2_THRIFT_PORT("hive.server2.thrift.port", 10000,
        "Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'."),

註冊的機器IP，如果不指定預設是本機的hostname
HIVE_SERVER2_THRIFT_BIND_HOST("hive.server2.thrift.bind.host", "",
        "Bind host on which to run the HiveServer2 Thrift service."),          

註冊的zookeeper地址，可以使多個地址通過‘,’分割
HIVE_ZOOKEEPER_QUORUM("hive.zookeeper.quorum", "",
        "List of ZooKeeper servers to talk to. This is needed for: \n" +
        "1. Read/write locks - when hive.lock.manager is set to \n" +
        "org.apache.hadoop.hive.ql.lockmgr.zookeeper.ZooKeeperHiveLockManager, \n" +
        "2. When HiveServer2 supports service discovery via Zookeeper.\n" +
        "3. For delegation token storage if zookeeper store is used, if\n" +
        "hive.cluster.delegation.token.store.zookeeper.connectString is not set"),

註冊的zookeeper的埠號
HIVE_ZOOKEEPER_CLIENT_PORT("hive.zookeeper.client.port", "2181",
        "The port of ZooKeeper servers to talk to.\n" +
        "If the list of Zookeeper servers specified in hive.zookeeper.quorum\n" +
        "does not contain port numbers, this value is used.")

可以通過將這些配置資訊儲存在一個hive-site.xml檔案下，並且在程序啟動時指定該檔案在程序的classpath下，或者在啟動引數中指定–hiveconf設定這些引數，這樣可以脫離配置檔案進行啟動。

程式碼地址：點這裡
使用例項：

java -cp .:target/impala-tools-0.0.1.jar:./tools/lib/* com.netease.impala.service.RegisterImpalaTools -pid 12345 --hiveconf hive.server2.zookeeper.namespace=impala-dev --hiveconf hive.server2.thrift.port=16124 --hiveconf hive.server2.thrift.bind.host=db-87.photo.163.org --hiveconf hive.zookeeper.quorum=classb-bigdata4.server.163.org --hiveconf hive.zookeeper.client.port=2181

註冊之後可以直接在beeline上建立jdbc連線，使用例項：

!connect jdbc:hive2://classb-bigdata4.server.163.org:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=impala-dev;principal=impala/[email protected];

最後需要注意的是不太的impalad對外部客戶端提供的principal可能不相同，例如每一個機器使用的principal是impala/[email protected]，這樣的話無論對於那種方式的代理都是不可以的，因此需要修改服務端的–principal配置，一般使用上文介紹的合併keytab的方式，將兩個keytab合併成一個，使得同一個keytab可以使用不同的principal認證，對外提供相同的一個principal，impalad內部通訊則使用impala/[email protected]的principal。

總結

本文介紹並且實現了另外一種基於zookeeper的方式實現impalad節點高可用的方案，該方案不需要依賴繁重的haproxy+keeplived繁重的組建以來，並且利用原生jdbc的特性實現impalad的負載均衡和高可用，但是這種方案也存在一定的缺陷，例如獨立的監控程序誰來保證，如果該程序down了那麼它所監控的impalad也不能對外提供服務了（因為zookeeper上該服務對應的節點會被刪除），如何保證該程序的生命週期比它所監控的impalad程序更久是該方案面臨的最大問題。

不過這個監控程序畢竟是非常輕量級的，相對於impalad它down的機率還是比較小的，即使它掛掉了而impalad仍然存在，也只是意味著在這個監控程序重啟之前該impalad不能對外提供服務，如果在多個impalad能夠同時提供服務的叢集中，這種影響是可以接受的。

最後，使用該工具只能講hs2的介面註冊到zk，並且通過beeline或者hive-jdbc訪問，但是對於直接使用thrift介面還是比較麻煩的，接下來還需要尋找如何將hs2介面轉成thrift介面的方式。

//更新…
上文描述了一種使用zookeeper元件實現impalad高可用+負載均衡的方案，這樣使得impala在使用的時候更加向hiveserver2，但是在編寫客戶端程式的時候，作為一個數據平臺，往往需要代理多個使用者執行任務，hive可以通過在url中新增hive.server2.proxy.user引數指定被代理使用者，當然使用該引數的時候需要保證當前認證的UsergroupInformation是一個超級使用者（可代理的使用者），這樣可以使用一個超級使用者的kerberos賬號代理人以使用者執行查詢。

impala同樣也提供這樣的機制，但是比較蛋疼的是impala代理引數和hive不一樣，變成了impala.doas.user，這樣就使得我們不能直接使用hive的引數請求impala做代理使用者執行，那麼是否可以直接在url後面新增impala的引數讓impalad識別被代理使用者呢？答案是不可以的，因為hive-jdbc裡面對於url的引數都會新增”set hivevar”這樣的字首，所以服務端收到的引數並不是客戶端傳過去的樣子了。

private void openSession() throws SQLException {
    TOpenSessionReq openReq = new TOpenSessionReq();

    Map<String, String> openConf = new HashMap<String, String>();
    // for remote JDBC client, try to set the conf var using 'set foo=bar'
    for (Entry<String, String> hiveConf : connParams.getHiveConfs().entrySet()) {
      openConf.put("set:hiveconf:" + hiveConf.getKey(),hiveConf.getValue());
    }
    // For remote JDBC client, try to set the hive var using 'set hivevar:key=value'
    for (Entry<String, String> hiveVar :connParams.getHiveVars().entrySet()) {
      openConf.put("set:hivevar:" + hiveVar.getKey(), hiveVar.getValue());
    }
    // switch the database
    openConf.put("use:database", connParams.getDbName());

    // set the session configuration
    Map<String, String> sessVars = connParams.getSessionVars();
    if (sessVars.containsKey(HiveAuthFactory.HS2_PROXY_USER)) {
      openConf.put(HiveAuthFactory.HS2_PROXY_USER,
          sessVars.get(HiveAuthFactory.HS2_PROXY_USER));
    }
    ....
  }

所以就不能直接用hive-jdbc連線impalad實現代理了，於是只能仿照hive jdbc的建立connection的邏輯自己實現了一個類似的程式，輸入同樣是類似hive的url，引數同樣參考hive proxy引數而不是impala引數，在建立connection的時候再轉換成impala引數。

程式碼連線：這裡。

這裡除了建立connection的例項之外，還是先了一個可使用的類似於beeline的客戶端的，它的輸入url既可以是直連某一個impalad的形式，也可以是zookeeper形式，既可以以當前kerberos執行，也可以代理其他使用者執行。