1. 程式人生 > 實用技巧 >Hadoop 資料儲存之NameNode

Hadoop 資料儲存之NameNode

NameNode的功能:

NameNode通過執行以下任務來管理檔案系統名稱空間。

  • 維護與檔案系統相關的元資料,如檔案層次結構和每個檔案的塊位置;
  • 管理使用者對資料檔案的訪問;
  • 資料塊和叢集中儲存節點的對映關係;
  • 執行對檔案系統的操作,如開啟或關閉檔案以及目錄;
  • 為叢集中的DataNode成員提供註冊服務並處理來自DataNode的週期性心跳;
  • 確定哪些節點上的資料應該被複制,並刪除超出的複製塊;
  • 處理DataNode傳送的塊報告並維護資料庫的存放位置。

雖然Namenode知道HDFS塊的所對應的DataNode節點資訊,但是它不會直接儲存塊對應的位置,它只是根據在啟動叢集時datanode傳送的資訊來重構,之後將資訊儲存在記憶體中,用於快速訪問。

來看看NameNode在hadoop叢集中的作用,重點是metadata hdfs元資料的管理。如果單節點的namenode掛掉的話,試想hadoop叢集還能啟動的起來嗎?

單節點的namenode宕機後,叢集是不能正常啟動的,更不會對外正常提供服務了。這讓namenode顯得尤為重要,所以namenode節點一般會有2個,一個namenode,第二個 namenode主要為活躍的namenode做standby 的。

待續。。。