子目錄 version 修復 uuid 分布 flush 遇到 介紹 base

眾所周知，HBase 是天生就是架設在 HDFS 上，在這個分布式文件系統中，HBase 是怎麽去構建自己的目錄樹的呢？

這裏只介紹系統級別的目錄樹: 一、0.94-cdh4.2.1版本 系統級別的一級目錄如下，用戶自定義的均在這個/hbase 下的一級子目錄下 /hbase/-ROOT- /hbase/.META. /hbase/.archive /hbase/.corrupt /hbase/.hbck /hbase/.logs /hbase/.oldlogs /hbase/.snapshot /hbase/.tmp /hbase/hbase.id /hbase/hbase.version 1、/hbase/-ROOT- hbase讀寫數據的時候采用三級尋址方式，首先從 zk 中找到ROOT 表所在位置，通過 ROOT 表找到 META 表所在位置，然後再從 META 表定位到你要讀寫數據Region 所在的Regionserver。所以-ROOT-目錄對應 HBase 中的系統表ROOT，就不多做解釋了。 2、/hbase/.META. 就是存儲1中介紹的 META 表的存儲路徑。 3、/hbase/.archive HBase 在做 Split或者 compact 操作完成之後，會將 HFile 移到.archive 目錄中，然後將之前的 hfile 刪除掉，該目錄由 HMaster 上的一個定時任務定期去清理。 4、/hbase/.corrupt 存儲HBase損壞的日誌文件，一般都是為空的。 5、/hbase/.hbck HBase 運維過程中偶爾會遇到元數據不一致的情況，這時候會用到提供的 hbck 工具去修復，修復過程中會使用該目錄作為臨時過度緩沖。 6、/hbase/.logs 大家都知道 HBase 是支持 WAL（Write Ahead Log） 的，HBase 會在第一次啟動之初會給每一臺 RegionServer 在.log 下創建一個目錄，若客戶端如果開啟WAL 模式，會先將數據寫入一份到.log 下，當 RegionServer crash 或者目錄達到一定大小，會開啟 replay 模式，類似 MySQL 的 binlog。 7、/hbase/.oldlogs 當.logs 文件夾中的 HLog 沒用之後會 move 到.oldlogs 中，HMaster 會定期去清理。 8、/hbase/.snapshot hbase若開啟了 snapshot 功能之後，對某一個用戶表建立一個 snapshot 之後，snapshot 都存儲在該目錄下，如對表test 做了一個 名為sp_test 的snapshot，就會在/hbase/.snapshot/目錄下創建一個sp_test 文件夾，snapshot 之後的所有寫入都是記錄在這個 snapshot 之上。 9、/hbase/.tmp 當對表做創建或者刪除操作的時候，會將表move 到該 tmp 目錄下，然後再去做處理操作。 10、/hbase/hbase.id 它是一個文件，存儲集群唯一的 cluster id 號，是一個 uuid。 11、/hbase/hbase.version 同樣也是一個文件，存儲集群的版本號，貌似是加密的，看不到，只能通過web-ui 才能正確顯示出來。 二、0.98.8版本 自0.96版本之後，hbase 源碼結構上做了很大的優化，目錄結構也發生了變化，做了精簡和優化，這裏以0.98.8為例介紹，目錄如下： /hbase/.tmp /hbase/WALs /hbase/archive /hbase/corrupt /hbase/data /hbase/hbase.id /hbase/hbase.version /hbase/oldWALs 1、/hbase/.tmp 這個目錄不變還是原來的tmp目錄，作用是一樣的。 2、/hbase/WALs 這裏對應0.94的.logs 目錄，取名為 WALs 更加見名知意了，點個贊！ 3、/hbase/archive 和0.94一樣，只是去掉了.而已，估計是作者不想把它作為一個隱藏文件夾了吧 4、/hbase/corrupt 和0.94一樣，去了. 5、/hbase/data 這個才是 hbase 的核心目錄，0.98版本裏支持 namespace 的概念模型，系統會預置兩個 namespace 即：hbase和default 5.1 /hbase/data/default 這個默認的namespace即沒有指定namespace 的表都將會flush 到該目錄下面。 5.2 /hbase/data/hbase 這個namespace 下面存儲了 HBase 的 namespace、meta 和acl 三個表，這裏的 meta 表跟0.94版本的.META.是一樣的，自0.96之後就已經將 ROOT 表去掉了，直接從Zookeeper 中找到meta 表的位置，然後通過 meta 表定位到 region。 namespace 中存儲了 HBase 中的所有 namespace 信息，包括預置的hbase 和 default。acl 則是表的用戶權限控制。 如果自定義一些 namespace 的話，就會再/hbase/data 目錄下新建一個 namespace 文件夾，該 namespace 下的表都將 flush 到該目錄下。 6、/hbase/hbase.id 它是一個文件，存儲集群唯一的 cluster id 號，是一個 uuid。
7、/hbase/hbase.version 同樣也是一個文件，存儲集群的版本號，貌似是加密的，看不到，只能通過web-ui 才能正確顯示出來。
8、/hbase/oldWALs 這裏對應0.94的.oldlogs 目錄，取名為 oldWALs 是不是更好了呢！

HBase在HDFS上的目錄樹