1. 程式人生 > >hadoop學習筆記1---Hadoop體系介紹

hadoop學習筆記1---Hadoop體系介紹

hadoop

1、Namenode

HDFS的守護進程

記錄文件時如何分割成數據塊的,以及這些數據塊被存儲到哪些節點上

對內存和I/O進行集中管理

是個單點,發生故障將使集群崩潰


2、Secondary Namenode

監控HDFS狀態的輔助後臺程序

每個集群都有一個

與NameNode進行通訊定期保存HDFS元數據快照

當NameNode故障可以作為備用NameNode使用


3、DataNode

每臺從服務器都運行一個

負責把HDFS數據塊讀寫到本地文件系統


4、JobTracker

用於處理作業(用戶提交代碼)的後臺程序

決定有哪些文件參與處理,然後切割task並分配節點

監控task,重啟失敗的task(於不同的幾點)

每個集群只有唯一一個JobTracker,位於Master節點


5、TaskTracker

位於slave節點上,與datanode結合(代碼與數據一起的原則)

管理各自節點上的task(由jobtracker分配)

每個節點只有一個tasktracker,但一個tasktracker可以啟動多個JVM,用於並行執行map或reduce任務

與jobtracker交互


1.6、Master和Slave

Master:Namenode、Secondary Namenode、jobtracker。瀏覽器(用於觀看管理界面),其它Hadoop工具

Slave:Tasktracker、Datenode

Master不是唯一的


hadoop學習筆記1---Hadoop體系介紹