關於hbase集群
阿新 • • 發佈:2018-03-07
div 由於 應該 zookeep memstore ast 文件的 IT 寫入
1 一個hadoop data node上運行一個region server
region server和data node在同一臺機器上,這樣就保證了數據的局部性。
2 hbase region server的構成
2.1 WAL
write ahead log。
2.2 MemStore
寫緩存。
2.3 BlockCache
讀緩存。
2.4 Hfile
3 hbase寫數據的過程
數據先寫入WAL中,寫完之後,再寫入MemStore中,當MemStore寫了足夠的數據之後,最後寫入一個新的Hfile文件中。
3 Hfile文件的結構
4 hbase client和hbase交互的過程
5 zookeeper的部署
master、slaves每臺機器上都要啟動。它會自己選擇一臺機器作為leader,其它的作為follower。
由於zookeeper需要知曉所有機器的情況,因此在所有的機器上都是需要運行的。
6 HMaster為什麽也要放在data node上,而不能放在name node上
因為對於hdfs來說,數據都是存放在data node上的,而相對於hdfs來說,hmaster也是數據,所以,它應該放在data node上。
另外,處於穩定性考慮,name node是管理整個hdfs的,為了保證它的穩定性,也不應該將hmaster放在其上。
關於hbase集群