hadoop HDFS儲存原理
阿新 • • 發佈:2019-01-01
根據Maneesh Varshney的漫畫改編,以簡潔易懂的漫畫形式講解HDFS儲存機制與執行原理。
一、角色出演
Client:客戶端,系統使用者,呼叫HDFS API操作檔案;與NN互動獲取檔案元資料;與DN互動進行資料讀寫。
Namenode:元資料節點,是系統唯一的管理者。負責元資料的管理;與client互動進行提供元資料查詢;分配資料儲存節點等。
Datanode:資料儲存節點,負責資料塊的儲存與冗餘備份;執行資料塊的讀寫操作等。
二、寫入資料
1、傳送寫資料請求
2、檔案切分
三、HDFS讀檔案
1、使用者需求
2、先聯絡元資料節點
4、思考
四、HDFS容錯機制——第一部分:故障型別及監測方法
1、三類故障
(1)第一類:節點失敗
(1)節點失敗監測機制
五、容錯第二部分:讀寫容錯
1、寫容錯
六、容錯第三部分:資料節點(DN)失效
七、備份規則
如果客戶端上沒有一個數據節點的話,則從整個叢集中隨機選擇一個合適的資料節點作為此時這個資料塊的本地節點。
這樣叢集可在完全失去某一機架的情況下還能存活。同時,這種策略減少了機架間的資料傳輸,提高了寫操作的效率,因為資料塊只存放在兩個不同的機架上,減少了讀取資料時需要的網路傳輸總頻寬。這樣在一定程度上兼顧了資料安全和網路傳輸的開銷。