HDFS中的DataNode工作機制

• 1.圖解
• 2.流程簡介

1.圖解

2.流程簡介

1.一個數據塊在DataNode上以檔案形式儲存在磁碟上，包括兩個檔案，一個是資料本身，一個是元資料包括資料塊的長度，塊資料的校驗和，以及時間戳。
①.效驗檔案存在的意義？
因為要確定資料的完整性，流程再具體

 - 當DataNode讀取Block的時候，它會計算CheckSum，並存儲
 - DataNode在其檔案建立後周期驗證CheckSum
 - 如果計算後的CheckSum，與Block建立時值不一樣，說明Block已經損壞
 - Client讀取時就會讀取其他DataNode上的Block
 

2.DataNode啟動後向NameNode註冊，通過後，週期性（1小時）的向NameNode上報所有的塊資訊
3.心跳是每3秒一次，心跳返回結果帶有NameNode給該DataNode的命令如複製塊資料到另一臺機器，或刪除某個資料塊。如果超過10分鐘沒有收到某個DataNode的心跳，則認為該節點不可用
番外：掉線時限引數設定
①.圖解

4.叢集執行中可以安全加入和退出一些機器

版權宣告：本部落格為記錄本人自學感悟，轉載需註明出處！
https://me.csdn.net/qq_39657909