Input就是資料

資料以key-value形式進來之後，我們需要一個解碼器InputFormat，它是用來計算有多少個邏輯塊以及我怎麼讀取這些內容。

然後就是Map過程，Map就是我們處理業務資料的過程，比如說WordCount，那我們就對每個單詞計數。

然後是combiner是區域性彙總，也就是把本機上的結果先彙總，減輕Reducer的壓力。但這步不是必須的。

再往下就是Partitioner，它就是一個計算我哪塊資料要往哪個Reducer上發，一般預設對key算出一個雜湊值，再對Reducer機器的數量取模，就知道發到哪臺機器了。

shuffle就是實際傳送的過程。

Reducer負責彙總所有機器傳來的結果，有幾個Reducer最後就有幾個輸出檔案，所以我們還需要一個加碼器。解碼就是這個內容，我告訴你怎麼讀，我不告訴你你不知道。而加碼器就是我來制定我自己讀檔案的規則。

————————————————————————————————

重要概念：

1. Input Split（輸入分片）:

在執行map計算之前，要根據input進行分片。

每一個Input split對應一個map任務（可以看圖），而且Input split存的不是資料塊，

存的是一個分片長度和記錄了資料位置的陣列。

如何控制Mapper的個數：

這裡先貼一下，我覺得這得動手才能瞭解。

（1）預設map個數
     如果不進行任何設定，預設的map個數是和blcok_size相關的。
     default_num = total_size / block_size;

（2）期望大小
     可以通過引數mapred.map.tasks來設定程式設計師期望的map個數，但是這個個數只有在大於default_num的時候，才會生效。
     goal_num = mapred.map.tasks;
---------------------  經過以上的分析，在設定map個數的時候，可以簡單的總結為以下幾點：
（1）如果想增加map個數，則設定mapred.map.tasks 為一個較大的值。
（2）如果想減小map個數，則設定mapred.min.split.size 為一個較大的值。
（3）如果輸入中有很多小檔案，依然想減少map個數，則需要將小檔案merger為大檔案，然後使用準則2。
---------------------