1. 程式人生 > >Hbase的高可用架構分析

Hbase的高可用架構分析

在一個典型的HA叢集中,每個NameNode是一臺獨立的伺服器。在任一時刻,只有一個NameNode處於active狀態,另一個處於standby狀態。其中,active狀態的NameNode負責所有的客戶端操作,standby狀態的NameNode處於從屬地位,維護著資料狀態,隨時準備切換。 

兩個NameNode為了資料同步,會通過一組稱作JournalNodes的獨立程序進行相互通訊。當active狀態的NameNode的名稱空間有任何修改時,會告知大部分的JournalNodes程序。standby狀態的NameNode有能力讀取JNs中的變更資訊,並且一直監控edit log的變化,把變化應用於自己的名稱空間。standby可以確保在叢集出錯時,名稱空間狀態已經完全同步了,如圖3所示。

image

為了確保快速切換,standby狀態的NameNode有必要知道叢集中所有資料塊的位置。為了做到這點,所有的datanodes必須配置兩個NameNode的地址,傳送資料塊位置資訊和心跳給他們兩個。 

對於HA叢集而言,確保同一時刻只有一個NameNode處於active狀態是至關重要的。否則,兩個NameNode的資料狀態就會產生分歧,可能丟失資料,或者產生錯誤的結果。為了保證這點,JNs必須確保同一時刻只有一個NameNode可以向自己寫資料。 

硬體資源 

為了部署HA叢集,應該準備以下事情:

* NameNode伺服器:執行NameNode的伺服器應該有相同的硬體配置。

* JournalNode伺服器:執行的JournalNode程序非常輕量,可以部署在其他的伺服器上。注意:必須允許至少3個節點。當然可以執行更多,但是必須是奇數個,如3、5、7、9個等等。當執行N個節點時,系統可以容忍至少(N-1)/2個節點失敗而不影響正常執行。 

在HA叢集中,standby狀態的NameNode可以完成checkpoint操作,因此沒必要配置Secondary NameNode、CheckpointNode、BackupNode。如果真的配置了,還會報錯。