> **前言：**《讀者來信》是HBase老店開設的一個問答專欄，旨在能為更多的小夥伴解決工作中常遇到的HBase相關的問題。老店會盡力幫大家解決這些問題或幫你發出求救貼，老店希望這會是一個互幫互助的小平臺。有問題請直接在老店後臺留言，有好的解決方案也請不要吝嗇，誠摯歡迎大家能在留言區積極探討解決方案，大膽發表自己的看法，也許你今天幫別人解決的問題，就是你明天可能遇到的答案。 # 來信人：劉*剛 ## 小猿提問 > 在重啟HBase叢集的過程中，RS節點全部啟動成功了，但是HMaser一直啟動不起來，錯誤日誌如下： ``` unexpected error, closing socket connection and attempting reconnect java.io.IOException: Packet len4745468 is out of range! at org.apache.zookeeper.ClientCnxnSocket.readLength(ClientCnxnSocket.java:112) at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:79) at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:366) at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081) 2020-04-02 22:31:08,673 ERROR [hadoop01:16000.activeMasterManager] zookeeper.RecoverableZooKeeper: ZooKeeper getChildren failed after 4 attempts 2020-04-02 22:31:08,674 FATAL [hadoop01:16000.activeMasterManager] master.HMaster: Failed to become active master org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/region-in-transition at org.apache.zookeeper.KeeperException.create(KeeperException.java:99) at org.apache.zookeeper.KeeperException.create(KeeperException.java:51) at org.apache.zookeeper.ZooKeeper.getChildren(ZooKeeper.java:1472) at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.getChildren(RecoverableZooKeeper.java:295) at org.apache.hadoop.hbase.zookeeper.ZKUtil.listChildrenNoWatch(ZKUtil.java:513) at org.apache.hadoop.hbase.master.AssignmentManager.processDeadServersAndRegionsInTransition(AssignmentManager.java:519) at org.apache.hadoop.hbase.master.AssignmentManager.joinCluster(AssignmentManager.java:494) at org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:748) at org.apache.hadoop.hbase.master.HMaster.access$500(HMaster.java:184) at org.apache.hadoop.hbase.master.HMaster$1.run(HMaster.java:1729) at java.lang.Thread.run(Thread.java:748) ``` ## 小猿分析 - HBase 版本：Apache 1.2.1 - 叢集規模：120000+ region >看錯誤日誌，好像只看到了ZK的身影，日誌關鍵詞是[`ZooKeeper.getChildren`|`Packet`|`out of range`|`ConnectionLoss for /hbase/region-in-transition`]。 我們知道，HBase Master 重啟時要做很多初始化工作，要與ZK資料節點進行一些互動工作，如元資料或節點狀態的註冊、修改、獲取等等。看這些關鍵詞大概好像明白是怎麼回事：ZooKeeper在getChildren（region-in-transition）的時候超出了Packet的range，導致連線丟失了，Failed to become active master。 那什麼是Packet呢？小猿問了問度娘，度娘回答說： > 在 ZooKeeper 中，Packet 是一個最小的通訊協議單元，即資料包。Pakcet 用於進行客戶端與服務端之間的網路傳輸，任何需要傳輸的物件都需要包裝成一個 Packet 物件。 那就是讀取zk節點資料包長度有限制咯，這個時候我們肯定是先去網上找下zk有沒有相關的引數可以調一下。結果還真的有：`jute.maxbuffer`，感覺自己很幸運。套用官網的話解釋一下這個引數： > (Java system property: jute.maxbuffer) This option can only be set as a Java system property. There is no zookeeper prefix on it. It specifies the maximum size of the data that can be stored in a znode. The default is 0xfffff, or just under 1M. If this option is changed, the system property must be set on all servers and clients otherwise problems will arise. This is really a sanity check. ZooKeeper is designed to store data on the order of kilobytes in size. 翻譯一下： > （Java系統屬性：jute.maxbuffer） 此選項只能設定為Java系統屬性。上面沒有Zookeeper字首。它指定可以儲存在znode中的資料的最大大小。預設值為0xfffff，或不到1M。如果更改此選項，則必須在所有伺服器和客戶端上設定系統屬性，否則會出現問題。這確實是一個健全性檢查。ZooKeeper旨在儲存大小為千位元組的資料。 也有另一種說法： > 需要注意的是，該引數並不是在 Server 和 Client 端同時設定才會生效。實際情況是，在客戶端設定後，Zookeeper 將控制從 Server 端讀取資料的大小（outgoingBuffer）；而在服務端設定後，則是控制從 Client 端寫入資料的大小（incomingBuffer） 相關程式碼如下： ``` protected final ByteBuffer lenBuffer = ByteBuffer.allocateDirect(4); protected ByteBuffer incomingBuffer = lenBuffer; protected void readLength() throws IOException { int len = incomingBuffer.getInt(); if (len < 0 || len >= ClientCnxn.packetLen) { throw new IOException("Packet len" + len + " is out of range!"); } incomingBuffer = ByteBuffer.allocate(len); } public static final int packetLen = Integer.getInteger("jute.maxbuffer", 4096 * 1024); ``` 那為什麼會讀取這麼大一個包呢？基於上文提到的關鍵字`/hbase/region-in-transition`（待分配region資訊） 及Region的規模（120000+），我們猜測是因為Region太多了，導致`/hbase/region-in-transition`節點太大，HMaster讀取該節點資料時超出限制並以失敗告終。我們也在HBase Jira庫找到了相關issue： [Cluster with too many regions cannot withstand some master failover scenarios](https://issues.apache.org/jira/browse/HBASE-4246) https://issues.apache.org/jira/browse/HBASE-4246 我們很多時候都不是第一個溼鞋的人，也許你今天幫別人解決的問題，就是你明天可能遇到的答案。這也是老店開設問答專欄《讀者來信》的初心--為了知識更好的傳播與分享！ ## 小猿解答 當然也不只`/region-in-transition`節點會有這樣的問題，`/unssigned` 等節點也可能會有一樣的問題。解決方案總結如下： 方案一：清理zk節點歷史上存在的垃圾資料 > 該方案旨在將zk節點的資料大小降下來，是否可以降到紅線以下。 方案二：調大引數`jute.maxbuffer` ``` # 設定 Client 端 $ vim $ZOOKEEPER_HOME/bin/zkCli.sh # 增加 -Djute.ma