結構：主從結構（Master/slave）名稱節點/資料節點；

缺點：不適合低延時資料訪問；

無法高效儲存大量小檔案；

不支援併發寫及任意修改檔案；

NN：儲存元資料；元資料儲存在記憶體中；儲存檔案，block，DN之間的對映關係；

DN：儲存檔案內容；檔案內容儲存在磁碟中；維護block ID到DN本地檔案的對映關係；

NN資料結構：

FSImage：用於維護檔案系統樹以及檔案樹中所有的檔案和資料夾的元資料；

EditLog：錄了所有針對檔案的建立、刪除、重新命名等操作；

註釋：FSImage中沒有記錄塊儲存在哪個資料節點。

NN啟動：載入FSImage，執行EditLog；

SecondaryNN：合併FSImage、EditLog；

過程：1）SecondaryNameNode會定期和NameNode通訊，請求其停止使用EditLog檔案，暫時將新的寫操作寫到一個新的檔案edit.new上來，這個操作是瞬間完成，上層寫日誌的函式完全感覺不到差別；
　　（2）SecondaryNameNode通過HTTP GET方式從NameNode上獲取到FsImage和EditLog檔案，並下載到本地的相應目錄下；
　　（3）SecondaryNameNode將下載下來的FsImage載入到記憶體，然後一條一條地執行EditLog檔案中的各項更新操作，使得記憶體中的FsImage保持最新；這個過程就是EditLog和FsImage檔案合併；
　　（4）SecondaryNameNode執行完（3）操作之後，會通過post方式將新的FsImage檔案傳送到NameNode節點上

　　（5）NameNode將從SecondaryNameNode接收到的新的FsImage替換舊的FsImage檔案，同時將edit.new替換EditLog檔案，通過這個過程EditLog就變小了。

DN：負責儲存資料和讀取資料；

同性協議：

所有HDFS通訊協議都是構建在TCP/IP上的；

客戶端和資料節點使用資料節點協議 ，用火RPC遠端呼叫實現；

HDFS侷限性：

1、受限於記憶體大小；

2、受限於單個名稱節點效能；

3、無法對不同程式進行隔離；

4、單點故障；

HDFS儲存原理：

冗餘儲存：

優點：

1、加快資料傳輸速度------分別去取
2、容易檢查資料錯誤--互相檢查

3、保證資料可靠性--自動複製

存放方式：

第一副本存在上傳節點；第二副本在不同機架；第三副本在第一機架不同節點上；其他隨機；

讀取：

用API確認機架ID和客戶端ID，採用就近原則；沒用相同ID，則隨機；

資料錯誤與恢復：

三個：名稱節點出錯、資料節點出錯和資料出錯。

NN wrong：停機，從第二名稱節點拷貝恢復；1.0需要停機，2.X有熱備；

DN wrong：心跳資訊；標記資料節點宕機，資料不可讀；調整副本數量和位置；

Data wrong：MD5和sha1校驗；

讀資料：

寫資料：

學習記錄使用；