1 MapReduce架構的元件組成

1.1 元件組成

　　Hadoop的MapReduce架構主要由以下幾個元件組成：Client、JobTracker、TaskTracker、Task。

1.2 MapReduce架構圖

　　如下圖所示。
　　

2 各元件詳解

1.Client
　　使用者編寫的MapReduce程式通過Client提交到JobTracker。
2.JobTracker
　　參照上圖。
　　JobTracker主要負責資源監控和作業排程。
　　
　　JobTracker監控所有TaskTracker與作業的健康狀況；
　　
　　同時，JobTracker會跟蹤任務的執行進度、資源使用量等資訊，並將這些資訊告訴排程器；
　　排程器在資源出現空閒時選擇合適的任務使用這些資源。另外，在Hadoop中，任務排程器是一個可插拔的模組，使用者可以根據自己的需要設計相應的排程器。
3.TaskTracker

3 Map/Reduce執行流程詳解

3.1 Map Task執行流程

　　如下圖所示。
　　1.Map Task先將對應的split迭代解析成一個個key/value對；
　　2.一次呼叫使用者定義的map()函式進行處理；
　　3.並將臨時結果存放到本地磁碟上，其中臨時資料被分成若干個partition，每個partition將被一個Reduce Task處理。
　　

3.2 Reduce Task執行流程

　　如下圖所示。
　　1.從遠端節點上讀取Map Task中間結果，即為”Shuffle階段”；
　　2.按照key對key/value對進行排序，即為”Sort階段”；
　　3.以此讀取key/value，呼叫使用者的reduce()函式處理，並將最終結果存放到HDFS上，即為”Reduce階段”。