本文原名“Don't use Hadoop when your data isn't that big ”，出自有著多年從業經驗的資料科學家Chris Stucchio，紐約大學柯朗研究所博士後，搞過高頻交易平臺，當過創業公司的CTO，更習慣稱自己為統計學者。對了，他現在自己創業，提供資料分析、推薦優化諮詢服務，他的郵件是：[email protected] 。

“你有多少大資料和Hadoop的經驗？”他們問我。我一直在用Hadoop，但很少處理幾TB以上的任務。我基本上只是一個大資料新手——知道概念，寫過程式碼，但是沒有大規模經驗。

接下來他們會問：“你能用Hadoop做簡單的group by和sum操作嗎？”我當然會，但我會說需要看看具體檔案格式。

他們給我一個U盤，裡面有所有的資料，600MB，對，他們所有的資料。不知道為什麼，我用pandas.read_csv（Pandas是一種Python資料分析庫）而不是Hadoop完成了這個任務後，他們顯得很不滿意。

Hadoop其實是挺侷限的。它無非是執行某個通用的計算，用SQL偽程式碼表示就是： SELECT G(...) FROM table GROUP BY F(...) 你只能改變G和F操作，除非要在中間步驟做效能優化（這可不怎麼好玩！）。其他一切都是死的。

（關於MapReduce，之前作者寫過一篇“41個詞講清楚MapReduce”，可以參考。）

Hadoop裡，所有計算都必須按照一個map、一個group by、一個aggregate或者這種計算序列來寫。這和穿上緊身衣一樣，多憋得慌啊。許多計算用其他模型其實更適合。忍受緊身衣的唯一原因就是，可以擴充套件到極大極大的資料集。可你的資料集實際上很可能根本遠遠夠不上那個數量級。

可是呢，因為Hadoop和大資料是熱詞，世界有一半的人都想穿上緊身衣，即使他們根本不需要。

可我的資料有好幾百MB呢！Excel都裝不下

對Excel很大可不是什麼大資料。有很多好工具——我喜歡用的是基於Numpy的Pandas。它可以將幾百MB資料以高效的向量化格式載入到記憶體，在我已經3年的老筆記本上，一眨眼的功夫，Numpy就能完成1億次浮點計算。Matlab和R也是很棒的工具。

數百MB資料一般用一個簡單的Python指令碼逐行讀取檔案、處理，然後寫到了一個檔案就行了。

可我的資料有10G呢！

我剛買了一臺膝上型電腦。16G記憶體花了141.98美元，256GB SSD多收200美元。另外，如果在Pandas里加載一個10GB的csv檔案，實際在記憶體裡並沒有那麼大——你可以將 “17284932583” 這樣的數值串存為4位或者8位整數，“284572452.2435723”存為8位雙精度。

最差情況下，你還可以不同時將所有資料都一次載入到記憶體裡。

可我的資料有100GB/500GB/1TB！

一個2T的硬碟才94.99美元，4T是169.99。買一塊，加到桌面電腦或者伺服器上，然後裝上PostgreSQL。

Hadoop的適用範圍遠小於SQL和Python指令碼

從計算的表達能力來說，Hadoop比SQL差多了。Hadoop裡能寫的計算，在SQL或者簡單的Python指令碼都可以更輕鬆地寫出來。

SQL是直觀的查詢語言，沒有太多抽象，業務分析師和程式設計師都很常用。SQL查詢往往非常簡單，而且一般也很快——只要資料庫正確地做了索引，要花幾秒鐘的查詢都不太多見。

Hadoop沒有任何索引的概念，它只知道全表掃描。而且Hadoop抽象層次太多了——我之前的專案盡在應付Java記憶體錯誤、記憶體碎片和叢集競用了，實際的資料分析工作反而沒了時間。

如果你的資料結構不是SQL表的形式（比如純文字、JSON、二進位制），一般寫一小段Python或者Ruby指令碼按行處理更直接。儲存在多個檔案裡，逐個處理即可。SQL不適用的情況下，從程式設計來說Hadoop也沒那麼糟糕，但相比Python指令碼仍然沒有什麼優勢。

除了難以程式設計，Hadoop還一般總是比其他技術方案要慢。只要索引用得好，SQL查詢非常快。比如要計算join，PostgreSQL只需檢視索引（如果有），然後查詢所需的每個鍵。而Hadoop呢，必須做全表掃描，然後重排整個表。排序通過多臺機器之間分片可以加速，但也帶來了跨多機資料流處理的開銷。如果要處理二進位制檔案，Hadoop必須反覆訪問namenode。而簡單的Python指令碼只要反覆訪問檔案系統即可。

可我的資料超過了5TB！

你的命可真苦——只能苦逼地折騰Hadoop了，沒有太多其他選擇（可能還能用許多硬碟容量的高富帥機器來扛），而且其他選擇往往貴得要命（腦海中浮現出IOE等等字樣……）。

用Hadoop唯一的好處是擴充套件。如果你的資料是一個數TB的單表，那麼全表掃描是Hadoop的強項。此外的話，請關愛生命，儘量遠離Hadoop。它帶來的煩惱根本不值，用傳統方法既省時又省力。

附註：Hadoop也是不錯的工具

我可不是成心黑Hadoop啊。其實我自己經常用Hadoop來完成其他工具無法輕易完成的任務。（我推薦使用Scalding，而不是Hive或者Pig，因為你可以用Scala語言來寫級聯Hadoop任務，隱藏了MapReduce底層細節。）我本文要強調的是，用Hadoop之前應該三思而行，別500MB資料這樣的蚊子，你也拿Hadoop這樣的大炮來轟。