一、回顧Reduce階段三大步驟

　　在第四篇博文《初識MapReduce》中，我們認識了MapReduce的八大步驟，其中在Reduce階段總共三個步驟，如下圖所示：

　　其中，Step2.1就是一個Shuffle操作，它針對多個map任務的輸出按照不同的分割槽（Partition）通過網路複製到不同的reduce任務節點上，這個過程就稱作為Shuffle。

PS：Hadoop的shuffle過程就是從map端輸出到reduce端輸入之間的過程，這一段應該是Hadoop中最核心的部分，因為涉及到Hadoop中最珍貴的網路資源，所以shuffle過程中會有很多可以調節的引數，也有很多策略可以研究，這方面可以看看大神董西成

的相關文章或他寫的MapReduce相關書籍。

二、Shuffle過程淺析

　　上圖中分為Map任務和Reduce任務兩個階段，從map端輸出到reduce端的紅色和綠色的線表示資料流的一個過程，也我們所要了解的Shuffle過程。

2.1 Map端

　　（1）在map端首先接觸的是InputSplit，在InputSplit中含有DataNode中的資料，每一個InputSplit都會分配一個Mapper任務，Mapper任務結束後產生<K2,V2>的輸出，這些輸出先存放在快取中，每個map有一個環形記憶體緩衝區，用於儲存任務的輸出。預設大小100MB（io.sort.mb屬性），一旦達到閥值0.8(io.sort.spil l.percent)，一個後臺執行緒就把內容寫到(spill)Linux本地磁碟中的指定目錄（mapred.local.dir）下的新建的一個溢位寫檔案。

總結：map過程的輸出是寫入本地磁碟而不是HDFS，但是一開始資料並不是直接寫入磁碟而是緩衝在記憶體中，快取的好處就是減少磁碟I/O的開銷，提高合併和排序的速度。又因為預設的記憶體緩衝大小是100M（當然這個是可以配置的），所以在編寫map函式的時候要儘量減少記憶體的使用，為shuffle過程預留更多的記憶體，因為該過程是最耗時的過程。

　　（2）寫磁碟前，要進行partition、sort和combine等操作。通過分割槽，將不同型別的資料分開處理，之後對不同分割槽的資料進行排序，如果有Combiner，還要對排序後的資料進行combine。等最後記錄寫完，將全部溢位檔案合併為一個分割槽且排序的檔案。

　　（3）最後將磁碟中的資料送到Reduce中，從圖中可以看出Map輸出有三個分割槽，有一個分割槽資料被送到圖示的Reduce任務中，剩下的兩個分割槽被送到其他Reducer任務中。而圖示的Reducer任務的其他的三個輸入則來自其他節點的Map輸出。

補充：在寫磁碟的時候採用壓縮的方式將map的輸出結果進行壓縮是一個減少網路開銷很有效的方法！關於如何使用壓縮，在本文第三部分會有介紹。

2.2 Reduce端

　　（1）Copy階段：Reducer通過Http方式得到輸出檔案的分割槽。

　　reduce端可能從n個map的結果中獲取資料，而這些map的執行速度不盡相同，當其中一個map執行結束時，reduce就會從JobTracker中獲取該資訊。map執行結束後TaskTracker會得到訊息，進而將訊息彙報給JobTracker，reduce定時從JobTracker獲取該資訊，reduce端預設有5個數據複製執行緒從map端複製資料。

　　（2）Merge階段：如果形成多個磁碟檔案會進行合併

　　從map端複製來的資料首先寫到reduce端的快取中，同樣快取佔用到達一定閾值後會將資料寫到磁碟中，同樣會進行partition、combine、排序等過程。如果形成了多個磁碟檔案還會進行合併，最後一次合併的結果作為reduce的輸入而不是寫入到磁碟中。
　　（3）Reducer的引數：最後將合併後的結果作為輸入傳入Reduce任務中。

總結：當Reducer的輸入檔案確定後，整個Shuffle操作才最終結束。之後就是Reducer的執行了，最後Reducer會把結果存到HDFS上。

三、Hadoop中的壓縮

　　剛剛我們在瞭解Shuffle過程中看到，map端在寫磁碟的時候採用壓縮的方式將map的輸出結果進行壓縮是一個減少網路開銷很有效的方法。其實，在Hadoop中早已為我們提供了一些壓縮演算法的實現，我們不用重複造輪子了。

3.1 解壓縮演算法的實現：Codec

　　Codec是Hadoop中關於壓縮，解壓縮的演算法的實現，在Hadoop中，codec由CompressionCode的實現來表示。下面是一些常見壓縮演算法實現，如下圖所示：

3.2 MapReduce的輸出進行壓縮

　　（1）MapReduce的輸出屬性如下所示

　　（2）在Java中如何針對輸出設定壓縮 ★★★

　　上圖中在reduce端輸出壓縮使用了剛剛Codec中的Gzip演算法，當然你也可以使用bzip2演算法；

參考資料

作者：周旭龍

本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連結。