1. 壓縮成為必須

對資料的3個關鍵特徵描述 3V：volume、variety和value。

volume，資料量與日俱增，在於智慧手機、Internet和感知器等的使用。

variety，大資料的資料格式，音訊、視訊、影象等。

value，資料近乎實時的產生以使得有用資訊能夠服務需要。

大資料不僅僅帶來了新的資料型別和儲存機制，也帶來了新種類的資料分析。現在資料增長太快了，資料的處理和管理成為一種挑戰，傳統的資料儲存和分析是低效的。在傳統資料和大資料之間存在不同，大資料面臨的挑戰包括資料的隱私和安全、資料儲存、從大資料中創造商業價值等。

伴隨大資料的增長，壓縮成為必然。壓縮的優勢在於：

壓縮的資料使用較少的頻寬。

壓縮的資料使用較少的磁碟。

加速資料在磁碟和網路上的傳輸。

降低成本。

2. hadoop中的壓縮型別

大資料包含複雜的、非結構化的資料，因此資料壓縮很重要，codec表示資料壓縮和解壓縮演算法的實現。一些壓縮格式是可分割的，這樣的壓縮對大檔案在效能上是較好的。hadoop支援的一般壓縮演算法如下：

LZO

Gzip

Bzip2

LZ4

Snappy

2.1 LZO

壓縮格式由大量小塊壓縮資料組成，塊大小對壓縮和解壓資料是一樣的。它的壓縮和解壓縮速度是很快的而且是可分割的，LZO是一個用ANSI C編寫的很少丟失資料的壓縮庫。它的原始碼和壓縮資料格式使得它在平臺之間遷移是非常便攜的。LZO的特徵如下：

資料壓縮類似於其他普遍的壓縮技術，比如gzip、bzip

能夠非常快速的解壓縮

除去源和目的buffer外，解壓縮不需要額外的記憶體

對產生的預壓縮資料有多種壓縮level，因此帶來了有競爭力的壓縮比

還有一種壓縮level僅僅為8KB資料壓縮

演算法是執行緒安全的

演算法是資料無損的

LZO是便攜的

Lzop是使用LZO作為壓縮服務的檔案壓縮器，它是最快的壓縮和加壓縮器。

2.2 GZIP

GUN zip，基於DEFLATE演算法，LZ77和Huffman編碼的結合。它比LZO壓縮效能好但是慢。如果原生hadoop lib在CLASSPATH中不可用，那麼java將使用java自身的GZIP。

它在檔案中尋找相似的字串，臨時的替換這些字串以使得檔案變小，第二個字串用前一個字串的指標替換，形為（distance,length）。文字和匹配長度以Huffman樹壓縮，而匹配距離以另一棵樹壓縮，這些樹在每一塊的塊首以緊湊的格式儲存。

deflate是壓縮演算法而inflate是解壓縮演算法，Gzip檔案的字尾為.gz，各種可用的格式如下：

tar

shar

zip

tar.gz

tar.z

2.3 Bzip2

一種自由、可用的、高質量資料壓縮器。壓縮率一般在10%~15%，壓縮的資料塊大小在100~900KB。Bzip2的效能是不對稱的，解壓快。它支援儲存媒介錯誤有限恢復，如果你試圖從備份的磁帶或者磁碟中修復資料且資料存在錯誤，bzip2依然能夠解壓檔案的這些部分如果硬體沒有收到損害。它也是便攜的，以塊來壓縮大檔案，塊的大小影響壓縮率和壓縮、解壓縮需要的記憶體。

2.4 LZ4

無丟失資料的壓縮演算法，強調壓縮解壓縮速度，壓縮速度為每core 400MB/S~GB/s

Token為1位元組的值，Field為Literal長度，其值為0 則沒有後面的Literal，其值為15則更多地Byte被新增，每一額外欄位代表0~255之間的一個數字以計算總長。Literals為未壓縮的文字，Offset代表匹配副本的位置，1 意味著當前位置-1 欄位，最大值為65535 。

2.5 Snappy

非常高速、合理的壓縮器。

3 總結

gzip是普通的壓縮器，bzip壓縮效能好於gzip但速度慢，LZO由很多小塊組成。

LZO和Snappy的壓縮速度好但壓縮效率低，解壓是gzip的兩倍。Snappy解壓縮好於LZO