1. 程式人生 > >HDFS元件(NN/DN/SNN)

HDFS元件(NN/DN/SNN)

在這裡插入圖片描述

NN: (NameNode)檔案系統的名稱空間 a.檔名稱 b.檔案目錄結構 c.檔案屬性(建立時間 許可權 副本數) d.檔案對應哪些資料塊—》資料塊對應分佈到哪些datanode節點上 blockmap,namenode節點不會持久化儲存這種對映關係,叢集在啟動時和執行時, datanode定期傳送blockreport 給namenode,以此namenode在記憶體中動態維護這種對映關係!

作用: 管理檔案系統的名稱空間, 維護檔案系統樹,以兩種檔案永久儲存在磁碟。 名稱空間映象檔案fsimage 編輯日誌editlog

在這裡插入圖片描述

在這裡插入圖片描述

DN:(DataNode) 儲存資料塊和塊的校驗和 與NN通訊: netty a.每隔3秒傳送一個心跳包(告訴NN,DN還活著) b.每10次心跳傳送一個blockReport(塊報告)

主要作用: 檔案資料塊的讀寫

SNN:(SecondaryNameNode) secondary 第二 儲存: fsimage + editlog 作用: 定期合併fsimage+editlog檔案為新的fsimage,推送給NN,稱為檢查點,checkpoint 引數: dfs.namenode.checkpoint.period: 3600

fsimage: 映象檔案 檔案系統樹 全量 14:00 editlog:操作日誌 讀寫的操作記錄 增量 14:40-14:30

15:00 14:00fsimage + 14:00~15:00editlog 合併成一個新的image 15:00 fsimage

在這裡插入圖片描述