Hadoop分散式檔案系統HDFS架構
阿新 • • 發佈：2018-12-11
1 Master(NameNode/NN) 帶 N個Slaves(DataNode/DN) HDFS/YARN/HBase
1個檔案會被拆分成多個Block blocksize：128M 130M ==> 2個Block： 128M 和 2M
HDFS的副本機制:(保證容錯性)
NN： 1）負責客戶端請求的響應 2）負責元資料（檔案的名稱、副本系數、Block存放的DN）的管理
DN：
1）儲存使用者的檔案對應的資料塊(Block)
2）要定期向NN傳送心跳資訊，彙報本身及其所有的block資訊，健康狀況
A typical deployment has a dedicated machine that runs only the NameNode software. Each of the other machines in the cluster runs one instance of the DataNode software. The architecture does not preclude running multiple DataNodes on the same machine but in a real deployment that is rarely the case.
NameNode + N個DataNode 建議：NN和DN是部署在不同的節點上
replication factor：副本系數、副本因子
All blocks in a file except the last block are the same size(理解:除了最後一個塊以外,其他塊的大小都是一樣的,因為不一定等分)