hdfs架構整理
阿新 • • 發佈:2022-05-21
hdfs組成架構有四個元件,分別是namenode,datanode,secondary namenode。
- NameNode(nn):就是Master,它
是一個主管、管理者。
(1)管理HDFS的名稱空間;
(2)配置副本策略;
(3)管理資料塊(Block)對映資訊;
(4)處理客戶端讀寫請求。
- DataNode:就是Slave。NameNode
下達命令,DataNode執行實際的操作。
(1)儲存實際的資料塊;
(2)執行資料塊的讀/寫操作。
- Client:就是客戶端。
(1)檔案切分。檔案上傳HDFS的時候,Client將檔案切分成一個一個的Block,然後進行上傳;
(2)與NameNode互動,獲取檔案的位置資訊;
(3)與DataNode互動,讀取或者寫入資料;
(4)Client提供一些命令來管理HDFS,比如NameNode格式化;
(5)Client可以通過一些命令來訪問HDFS,比如對HDFS增刪查改操作;
- Secondary NameNode:並非NameNode的熱備。當NameNode掛掉的時候,它並不
能馬上替換NameNode並提供服務。
(1)輔助NameNode,分擔其工作量,比如定期合併Fsimage和Edits,並推送給NameNode ;
(2)在緊急情況下,可輔助恢復NameNode。