1. 程式人生 > 其它 >hdfs架構整理

hdfs架構整理

hdfs組成架構有四個元件,分別是namenode,datanode,secondary namenode。

  • NameNode(nn):就是Master,它

是一個主管、管理者。

(1)管理HDFS的名稱空間;

(2)配置副本策略;

(3)管理資料塊(Block)對映資訊;

(4)處理客戶端讀寫請求。

  • DataNode:就是Slave。NameNode

下達命令,DataNode執行實際的操作。

(1)儲存實際的資料塊;

(2)執行資料塊的讀/寫操作。

  • Client:就是客戶端。

(1)檔案切分。檔案上傳HDFS的時候,Client將檔案切分成一個一個的Block,然後進行上傳;

(2)與NameNode互動,獲取檔案的位置資訊;

(3)與DataNode互動,讀取或者寫入資料;

(4)Client提供一些命令來管理HDFS,比如NameNode格式化;

(5)Client可以通過一些命令來訪問HDFS,比如對HDFS增刪查改操作;

  • Secondary NameNode:並非NameNode的熱備。當NameNode掛掉的時候,它並不

能馬上替換NameNode並提供服務。

(1)輔助NameNode,分擔其工作量,比如定期合併Fsimage和Edits,並推送給NameNode ;

(2)在緊急情況下,可輔助恢復NameNode。