1. 程式人生 > >關於hbase集群

關於hbase集群

div 由於 應該 zookeep memstore ast 文件的 IT 寫入

1 一個hadoop data node上運行一個region server

region server和data node在同一臺機器上,這樣就保證了數據的局部性。

2 hbase region server的構成

2.1 WAL

write ahead log。

2.2 MemStore

寫緩存。

2.3 BlockCache

讀緩存。

2.4 Hfile

3 hbase寫數據的過程

數據先寫入WAL中,寫完之後,再寫入MemStore中,當MemStore寫了足夠的數據之後,最後寫入一個新的Hfile文件中。

3 Hfile文件的結構

4 hbase client和hbase交互的過程

5 zookeeper的部署

master、slaves每臺機器上都要啟動。它會自己選擇一臺機器作為leader,其它的作為follower。

由於zookeeper需要知曉所有機器的情況,因此在所有的機器上都是需要運行的。

6 HMaster為什麽也要放在data node上,而不能放在name node上

因為對於hdfs來說,數據都是存放在data node上的,而相對於hdfs來說,hmaster也是數據,所以,它應該放在data node上。

另外,處於穩定性考慮,name node是管理整個hdfs的,為了保證它的穩定性,也不應該將hmaster放在其上。

關於hbase集群