1. 程式人生 > 其它 >HDFS架構概述

HDFS架構概述

1、概念
HDFS,它是一個檔案系統(window電腦磁碟是NTFS),用於儲存檔案,通過目錄樹來定位,其次它是分散式的,由很多伺服器聯合起來實現其功能,由很多伺服器聯合起來實現其功能
HDFS的內部工作機制對客戶端保持透明,客戶端請求訪問HDFS都是通過namenode申請來進行的
HDFS的設計是個一次寫入,多次讀寫的場景,且不支援檔案的修改。適合用來做資料分析,並不適合用來做網盤應用(因為不方便進行修改,延遲大,網路開銷大,成本較高)
HDFS檔案塊的預設大小在2.x版本中是128M,老版本是64M,如果檔案過大則分成若干塊,每一個檔案塊都有自己的id方便查詢分析

2、組成
1)NameNode(nn):儲存檔案的元資料,如檔名,檔案目錄結構,檔案屬性(生成時間、副本數、檔案許可權),以及每個檔案的塊列表和塊所在的DataNode等,可以理解為目錄
2)DataNode(dn):在本地檔案系統儲存檔案塊資料,負責管理使用者的檔案資料塊,每一個數據塊都可以在多個datanode上儲存多個副本,以及塊資料的校驗(判斷資料是否有損壞)
3)Secondary NameNode(2nn):用來監控HDFS狀態的輔助後臺程式,每隔一段時間獲取HDFS元資料的快照
熱備份:b是a的熱備份,如果a壞掉,那麼b馬上執行代替a的工作
冷備份:b是a的冷備份,如果a壞掉,那麼b不能馬上代替a工作。但是b上儲存a的一些資訊,減少a壞掉之後的損失