1 是什麼？

海量、離線資料裡批處理、分散式計算引擎

2 程式設計元件？

InputFormat類：分割成多個splits和每行怎麼解析。
Mapper類：對輸入的每對<key,value>生成中間結果。
Combiner類：在map端，對相同的key進行合併。
Partitioner類：在shuffle過程中，將按照key值將中間結果分為R份，每一份都由一個reduce去完成。
Reducer類：對所有的map中間結果，進行合併。
OutputFormat類：負責輸出結果格式。

開發過程就是：拼裝以上元件，建立Job，然後執行Job

3 計算過程？

map階段： input->split->map()->buffer in memory->partitions->merge in disk

輸入分解task任務，呼叫map（先寫記憶體，然後溢寫磁碟）

reduce階段：copy->merge->sort->reduce->output

複製map輸出到reduce輸入（排序、分組、合併），執行reduce邏輯，輸出

圖解：

4 優化點？

task個數（input split個數 ：取決於單個task 對應檔案大小）

map和reduce記憶體（Jvm引數）