HDFS元件(NN/DN/SNN)
阿新 • • 發佈:2018-12-18
NN: (NameNode)檔案系統的名稱空間 a.檔名稱 b.檔案目錄結構 c.檔案屬性(建立時間 許可權 副本數) d.檔案對應哪些資料塊—》資料塊對應分佈到哪些datanode節點上 blockmap,namenode節點不會持久化儲存這種對映關係,叢集在啟動時和執行時, datanode定期傳送blockreport 給namenode,以此namenode在記憶體中動態維護這種對映關係!
作用: 管理檔案系統的名稱空間, 維護檔案系統樹,以兩種檔案永久儲存在磁碟。 名稱空間映象檔案fsimage 編輯日誌editlog
DN:(DataNode) 儲存資料塊和塊的校驗和 與NN通訊: netty a.每隔3秒傳送一個心跳包(告訴NN,DN還活著) b.每10次心跳傳送一個blockReport(塊報告)
主要作用: 檔案資料塊的讀寫
SNN:(SecondaryNameNode) secondary 第二 儲存: fsimage + editlog 作用: 定期合併fsimage+editlog檔案為新的fsimage,推送給NN,稱為檢查點,checkpoint 引數: dfs.namenode.checkpoint.period: 3600
fsimage: 映象檔案 檔案系統樹 全量 14:00 editlog:操作日誌 讀寫的操作記錄 增量 14:40-14:30
15:00 14:00fsimage + 14:00~15:00editlog 合併成一個新的image 15:00 fsimage