1. 程式人生 > 實用技巧 >【tim帶你學】HDFS DataNode的目錄結構

【tim帶你學】HDFS DataNode的目錄結構

HDFS DataNode的目錄結構

目標:掌握DataNode的目錄結構

和namenode不同的是,datanode的儲存目錄是初始階段自動建立的,不需要額外格式化。在/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current這個目錄下檢視版本號

[email protected] current]# cat VERSION #Thu Mar 14 07:58:46 CST 2019storageID=DS-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39clusterID=CID-dac2e9fa-65d2-4963-a7b5-bb4d0280d3f4cTime=0datanodeUuid=c44514a0-9ed6-4642-b3a8-5af79f03d7a4storageType=DATA_NODElayoutVersion=-56

具體解釋
(1)storageID:儲存id號
(2)clusterID叢集id,全域性唯一
(3)cTime屬性標記了datanode儲存系統的建立時間,對於剛剛格式化的儲存系統,這個屬性為0;但是在檔案系統升級之後,該值會更新到新的時間戳。
(4)datanodeUuid:datanode的唯一識別碼
(5)storageType:儲存型別
(6)layoutVersion是一個負整數。通常只有HDFS增加新特性時才會更新這個版本號。

目錄結構

這個例子中“jdk-8u65-linux-x64.tar.gz”有兩個資料塊。

在這裡插入圖片描述
第一個塊“Block0”, 塊大小134217728(128M),塊ID:1073741894,塊池ID:BP-1282216739-192.168.10.131-1602020267158,儲存在節點node01,node02上。

在這裡插入圖片描述
第二個塊“Block0”, 塊大小47043070(44.86M) ,塊ID: 1073741895,塊池ID:BP-1282216739-192.168.10.131-1602020267158,儲存在節點node01,node03上。

進入node01節點的DataNode儲存資料的目錄,進入到塊池的ID目錄

下圖是第一塊的塊id和塊池id和目錄結構中在node01中的對應圖

在這裡插入圖片描述
下圖是第二塊的塊id和塊池id和目錄結構中在node01中的對應圖

在這裡插入圖片描述