Hadoop 2.x新特性

    將Mapreduce框架升級到Apache YARN，YARN將Map reduce工作區分為兩個：JobTracker元件：實現資源管理和任務JOB；計劃/監視元件：劃分到單獨應用中。 使用MapReduce的2.0，開發人員現在可以直接Hadoop內部基於構建應用程式。Hadoop2.2也已經在微軟widnows上支援。

YARN帶來了什麼

    1.HDFS的高可靠性
    2.HDFS snapshots快照
    3.支援HDFS中的 NFSv3 檔案系統。

Yarn/map reduce2.0架構圖

    簡單介紹一下這個圖：右邊的3個節點中的NodeManager會定期的向ResourceManager（簡寫為RM）

    App Master建立好並接到任務後，會向RM申請資源（包括輸入檔案位置，記憶體使用，計算過程等），申請到一些Container（可能在不同節點上）後，會開始在這些節點上執行（根據提供的輸入檔案位置讀取輸入檔案，執行Map或Reduce任務）這個Job（的部分），App Mstr同時會管理這些節點中的container，並監控這些container的執行情況。

    藍色部分Client----App Mstr----Container過程和紅色部分的過程完全相同。