Hadoop 資料儲存之NameNode
阿新 • • 發佈:2020-10-20
NameNode的功能:
NameNode通過執行以下任務來管理檔案系統名稱空間。
- 維護與檔案系統相關的元資料,如檔案層次結構和每個檔案的塊位置;
- 管理使用者對資料檔案的訪問;
- 資料塊和叢集中儲存節點的對映關係;
- 執行對檔案系統的操作,如開啟或關閉檔案以及目錄;
- 為叢集中的DataNode成員提供註冊服務並處理來自DataNode的週期性心跳;
- 確定哪些節點上的資料應該被複制,並刪除超出的複製塊;
- 處理DataNode傳送的塊報告並維護資料庫的存放位置。
雖然Namenode知道HDFS塊的所對應的DataNode節點資訊,但是它不會直接儲存塊對應的位置,它只是根據在啟動叢集時datanode傳送的資訊來重構,之後將資訊儲存在記憶體中,用於快速訪問。
來看看NameNode在hadoop叢集中的作用,重點是metadata hdfs元資料的管理。如果單節點的namenode掛掉的話,試想hadoop叢集還能啟動的起來嗎?
單節點的namenode宕機後,叢集是不能正常啟動的,更不會對外正常提供服務了。這讓namenode顯得尤為重要,所以namenode節點一般會有2個,一個namenode,第二個 namenode主要為活躍的namenode做standby 的。
待續。。。