最近一段時間看了許多Hadoop效能優化相關的資料，於是花了點時間整理了一下，希望給正在苦於Hadoop叢集效能問題的博友們一點建議吧。

1、Hadoop在儲存有輸入資料的節點上執行map任務，可以獲得最佳效能，稱為“資料本地化優化“，所以一般會設定最大分片的大小應該與塊大小相同，如果分片跨越2個塊的大小，必然要經過網路傳輸到不同的節點上讀取資料。

2、適當的時候使用Combine函式。Combine的階段是在map階段到reduce階段之間進行的，在某些Job中，設定Combine可以減少Shuffle過程中資料的傳輸量，並且不會影響到最終的結果。

3、有的時候我們想要匯入一部分資料到HDFS，這時候可以不用自己重新寫一個應用程式，可以通過Flume或者Sqoop等工具匯入。

4、Hadoop中有一個有用的distcp分散式複製程式，可以用於Hadoop檔案系統間的檔案資料拷貝，也可以用於將外部資料拷貝到Hadoop中，distcp的典型應用場景是在2個HDFS叢集之間傳輸資料。

5、向HDFS複製資料後，需要考慮叢集的負載均衡性，這時候可以利用均衡器(balancer)等工具。

6、Hadoop存檔工具使用，減少namenode上儲存每個塊的元資料所耗費的記憶體，因為大量的小檔案會耗盡namenode上大量的記憶體。

7、為了效能上的考慮，可以使用原生的native類庫來實現壓縮和解壓縮，例如，使用原生gzip類。

8、對於大檔案來說，不要使用不支援切分整個檔案的壓縮格式，因為會失去資料的本地性。，使用支援切分的壓縮格式，例如bzip2。

9、在Hadoop序列化中，對整數進行編碼的時候，有2種選擇，一個是定長格式，1個是變長格式，定長格式適合對整個值域空間中分佈比較均勻的資料進行編碼。但是大部分的數值變數的分散式不均勻的，這樣可以使用變長格式，可以節省空間。

10、NullWritable是Writable的特殊型別，如果不需要使用鍵或值的序列化地址的時候，可以將鍵或值宣告為NUllWritable。

11、目前儘管多數的MR程式使用的是Writable型別的鍵和值，但是這不是MapReduce API所強制使用的。其實可以使用任何型別，只要能有一種機制實現每個型別與二進位制型別表示的來回轉換就可以了。

12、MapReduce應用程式是一個分散式的程式，所以最好使用單元測試來確保函式的執行符合預期，一般是先通過小型資料集的測試。

13、可以使用MRUnit測試庫，進行map,reduce功能函式的測試。

14、MapReduce相關作業的執行狀態資訊可以通過Web UI來檢視。

15、在超過數億條記錄的資料集中，有的時候我們可以扔掉不正確的記錄，當然我們可以通過自定義計數器來捕獲不合理的資料。

16、Mapper需要執行多長時間，如果只執行幾秒鐘，則看看能否用更少的Mapper來執行，時間長度取決於使用的輸入格式。

17、為了達到最佳效能，叢集中reducer數量應該略少於reducer中的任務槽數。

18、使用自定義的Writable物件或自定義的comparator。

19、使用HPROF分析工具來實現任務。HPROF是JDK自帶的分析工具。

20、在map輸出寫到磁碟的過程中對其進行壓縮可以使得寫磁碟的速度更快，並且可以節約磁碟空間，減少傳給reducer的資料量。

21、在map端要避免多次溢寫操作，在Shuffle過程中儘量多提供記憶體空間，減少頻繁的IO操作。

22、有的時候可以選擇關閉推測執行，在一個繁忙的叢集中，推測執行會減少整體的吞吐量，冗餘任務的執行必然會佔據一部分的資源。

23、當有大量的超短執行時間的任務執行的時候，可以考慮JVM的重用。

24、計數器是MapReduce中的高階屬性，他可以作為作業統計資訊的有效手段之一。通常可用於記錄某一特定事件的發出次數。

25、在Hadoop中可以利用DistributedCache分散式快取來提高作業執行的效率。

參考資料：<<Hadoop權威指南>>.Tom.White