由於最近要開始深入的學習一下hbase，所以，先大概了解了hbase的基本架構，在此簡單的記錄一下。

Hbase的邏輯視圖

Hbase的物理存儲

HRegion

• Table中所有行都按照row key的字典序排列。
• Table在行的方向上分割為多個HRegion。
• HRegion按大小分割的，每個表開始只有一個HRegion，隨著數據增多，HRegion不斷增大，當增大到一個閥值的時候，HRegion就會等分會兩個新的HRegion，之後會有越來越多的Region。
• HRegion是Hbase中分布式存儲和負載均衡的最小單元，不同HRegion分布到不同HRegionServer上。

Store

• HRegion雖然是分布式存儲的最小單元，但並不是存儲的最小單元。
• HRegion由一個或者多個Store組成，每個Store保存一個columns family。 所以，每個column family存儲在HDFS上的一個單獨文件中，空值不會被保存。
• 每個HRtrore又由一個MemStore和0至多個StoreFile組成，StoreFile包含HFile。
• MemStore存儲在內存中，StoreFile存儲在HDFS上。

Hbase基本組件

Client

• 包含訪問HBase的接口，並維護cache來加快對HBase的訪問，比如HRegion的位置信息。

Master

• 為HRegionServer分配HRegion：比如在HRegion split時分配新的HRegion；在HRegionServer退出時遷移其內的HRegion到其他HRegionServer上
• 負責HRegionServer的負載均衡
• 發現失效的HRegionServer並重新分配其上的HRegion
• 管理用戶對table的增刪改查操作
• 管理namespace和table的元數據
• 權限控制（ACL）

HRegionServer

• HRegionServer維護HRegion，處理對這些HRegion的IO請求
• 存放和管理本地Hregion
• 讀寫HDFS，管理Table中的數據 HRegionserver負責切分在運行過程中變得過大的Hregion
• Client直接通過HRegionServer讀寫數據（從HMaster中獲取元數據，找到RowKey所在的HRegion/HRegionServer後）

Zookeeper

• 通過選舉，保證任何時候，集群中只有一個master，Master與RegionServers 啟動時會向ZooKeeper註冊
• 存貯所有Region的尋址入口
• 實時監控Region server的上線和下線信息。並實時通知給Master
• 存儲HBase的schema和table元數據

Zookeeper的引入使得Master不再是單點故障

上圖清晰的表達了HMaster和NameNode都支持多個熱備份，使用ZooKeeper來做協調。

• ZooKeeper一般由三臺機器組成一個集群，內部使用PAXOS算法支持三臺Server中的一臺宕機，也有使用五臺機器的，此時則可以支持同時兩臺宕機，既少於半數的宕機。
• 然而隨著機器的增加，它的性能也會下降。
• RegionServer和DataNode一般會放在相同的Server上實現數據的本地化。

協同工作

• HBase Client通過RPC方式和HMaster、HRegionServer通信。
• 一個HRegionServer可以存放1000個HRegion。
• 底層Table數據存儲於HDFS中，而HRegion所處理的數據盡量和數據所在的DataNode在一起，實現數據的本地化。
• 數據本地化並不是總能實現，比如在HRegion移動(如因Split)時，需要等下一次Compact才能繼續回到本地化。

Hbase的數據恢復

HLog

• 每個HRegionServer中都有一個HLog對象，HLog是一個實現Write Ahead Log的類。
• 在每次用戶操作寫入MemStore的同時，也會寫一份數據到HLog文件中。
• HLog文件定期會滾動出新的，並刪除舊的文件（已持久化到StoreFile中的數據）。

恢復過程

• 當HRegionServer意外終止後，HMaster會通過Zookeeper感知到。
• HMaster首先會處理遺留的HLog文件，將其中不同Region的Log數據進行拆分，分別放到相應region的目錄下。
• 然後再將失效的region重新分配，領取到這些region的HRegionServer在Load Region的過程中，會發現有歷史HLog需要處理。
• 因此會Replay HLog中的數據到MemStore中，然後flush到StoreFiles，完成數據恢復。
• 示意圖：
• 

Hbase的容錯

HRegionServer

• HRegionServer定時向Zookeeper匯報心跳。
• 如果一旦時間內未出現心跳，HMaster將該RegionServer上的Region重新分配到其他RegionServer上。
• 失效服務器上“預寫”日誌由主服務器進行分割並派送給新的HRegionServer。

HMaster

• 當現有Hmaster出現災難無法運轉，Zookeeper會重新選擇一個新的Master，從而保障Master不再是單點故障。

- 無Master過程中，數據讀取仍照常進行。

- 無master過程中，region切分、負載均衡等無法進行。

Zookeeper

• Zookeeper是一個可靠地服務，一般配置3或5個Zookeeper實例。
• Region定位流程：ZooKeeper--> -ROOT-(單Region)--> .META.--> 用戶表

本文只是簡單介紹一下hbase系統架構，後續會詳細地補充。

Hbase系統架構簡述