1. 程式人生 > >Hadoop 《一》,HDFS 分散式檔案系統

Hadoop 《一》,HDFS 分散式檔案系統

Hadoop-HDFS

儲存模型:位元組
-檔案線性切割成塊(Block):偏移量 offset
-block分散儲存在叢集結點中
-單一檔案block大小一致,檔案與檔案可以不一致
-block可以設定副本數,副本無序分散在不同結點中
>副本數不要超過結點數量
-檔案上傳可以設定block大小和副本數(資源不夠開闢的程序)
-以上傳的檔案block副本數可以調整,大小不變
(2.X以上版本, 128MB Blocks)
-只支援一次寫入多次讀取,同一時刻只有一個寫入者
-可以append追加資料

Block的副本放置策略
-第一個副本:放置在上傳檔案的DN;如果是叢集外提交,則隨機挑選一臺磁碟不太滿,CPU不太忙的結點。
-第二個副本:放置在於第一個副本不同的機架的結點上。
-第三個副本:與第二個副本相同機架的結點。
-更多副本:隨機結點
在這裡插入圖片描述


架構模型
-檔案元資料MetaDate,檔案資料
·元資料
·資料本身
-(主) NameNode節點儲存檔案元資料:單節點 posix
-(從) DataNode節點儲存檔案Block資料:多節點
-DataNode與NameNode保持心跳,提交Block列表
-HdfsClient與NameNode互動元資料資訊
-HdfsClient與 DataNode互動檔案Block資料(cs)
-DataNode利用伺服器本地檔案系統儲存資料塊