Hadoop處理大量的資料，如果期間的輸出資料、中間資料能壓縮儲存，對系統的I/O效能會有提升。

參考了網上不少資料，發現綜合考慮壓縮、解壓速度、是否支援split，目前lzo是最好的選擇。lzo最初在google code上託管，但後來轉移到github了，所以以github為準。地址為：

https://github.com/kevinweil/hadoop-lzo

步驟如下：

1. 安裝lzo
我的是centos，所以yum search lzo後，安裝對應版本的devel包。

2. 到github下載hadoop-lzo的tar包安裝

https://github.com/kevinweil/hadoop-lzo/downloads

準備條件：編譯hadoop-lzo得有gcc、ant

解壓後，到hadoop-lzo目錄下，執行：

ant compile-native tar
 

原無意外的話，就會生成hadoop-lzo-0.4.15.jar

3. 把hadoop-lzo-0.4.15.jar拷貝到hadoop的lib目錄下，此外把
hadoop-lzo/build/native/Linux-amd64-64/lib下的.a、.la、so等檔案拷貝到hadoop的lib/native/Linux-amd64-64下，之後重啟hadoop


那麼就可以在程式中，把輸出結果通過lzo壓縮：

SequenceFileOutputFormat.setOutputCompressionType(job, CompressionType.BLOCK);
		SequenceFileOutputFormat.setCompressOutput(job, true);
		SequenceFileOutputFormat.setOutputCompressorClass(job, LzoCodec.class);
 

hadoop讀取這些檔案時，會自動解壓。


hadoop上比較好的壓縮庫，都是native方式，配置起來挺麻煩的。
配置過程中，就老提示：Could not load native gpl library

檔案該複製都複製了，最終的解決辦法是在eclipse中，右擊專案--build path，選擇libraries--點選hadoop-lzo-0.4.15.jar，展開後，雙擊其下的：Native library location，選擇編譯好的hadoop-lzo的native檔案所在路徑，我填的是：

hadoop-lzo/build/native/Linux-amd64-64/lib

發現壓縮後的檔案大概為原來的50%。

最後，附上官方的hadoop—lzo配置說明：

https://github.com/kevinweil/hadoop-lzo/blob/master/README.md
http://code.google.com/a/apache-extras.org/p/hadoop-gpl-compression/wiki/FAQ?redir=1
 

--------------------------------------------------------------------

補充：在red hat 4下，yum install的是1.0版本的lzo，要升級成ver 2的才行。下載rpm包安裝：

wget ftp://ftp.univie.ac.at/systems/linux/dag/redhat/el4/en/x86_64/dag/RPMS/lzo-2.04-1.el4.rf.x86_64.rpm  
wget ftp://ftp.univie.ac.at/systems/linux/dag/redhat/el4/en/x86_64/dag/RPMS/lzo-devel-2.04-1.el4.rf.x86_64.rpm 

rpm -ivh lzo-2.04-1.el4.rf.x86_64.rpm
rpm -ivh lzo-devel-2.04-1.el4.rf.x86_64.rpm

詳情請參考這位xd的文章：

http://blog.csdn.net/kalaamong/article/details/7275185