1. 程式人生 > >HDFS 簡介

HDFS 簡介

dfs name 動態 指令 創建 namenode 執行 元數據 通過

hadoop分別從3個角度將主機劃分為2種角色

  最基本的是Master 和

  從HDFS角度,將主機劃分為namenode和datanode,在分布式文件系統中,目錄管理很重要,管理目錄相當於主人

  從mapreduce角度,劃分為jobtracker和tasktracker(一個job常被劃分為多個task)

HDFS是典型的主從架構,namenode是整個文件系統的管理節點,維護

  1、HDFS文件系統中的文件目錄樹,以及文件的數據塊索引,即每個文件對應的數據塊列表

  2、數據塊和數據節點的對應關系,即某一個數據塊保存在哪些數據節點

第一個關系即目錄樹,元數據和數據塊的索引信息。第二個關系在namenode啟動後,datanode會主動上報它所存儲的數據塊,動態創建對應關系

namenode管理著datanode,通過接收datanode的註冊,心跳,數據塊提交等信息上報,並且在心跳中發送數據塊復制,刪除,恢復等指令

datanode提供真實文件數據的存儲服務,它數據塊的方式在本地的linux文件系統上保存了HDFS文件的內容,並且對外提供文件數據訪問功能,客戶端在讀寫文件時,必須通過namenode提供的信息,進一步和datanode交互,同時datanode還必須接受namenode的管理,執行namenode指令,並且上報namenode感興趣的事件,以保持文件系統穩定可靠

HDFS 簡介