宣告

以下內容轉自 http://www.infoq.com/cn/articles/hadoop-ten-best-practice

前言

接觸Hadoop有兩年的時間了，期間遇到很多的問題，既有經典的NameNode和JobTracker記憶體溢位故障，也有HDFS儲存小檔案問題，既有任務排程問題，也有MapReduce效能問題.遇到的這些問題有些是Hadoop自身的缺陷（短板），有些則是使用的不當。

在解決問題的過程中，有時需要翻原始碼，有時會向同事、網友請教，遇到複雜問題則會通過mail list向全球各地Hadoop使用者,包括Hadoop Committer（Hadoop開發者）求助。在獲得很多人幫助後，自己將遇到問題和心得整理成文，希望本文可以對那些焦頭爛額的Hadoop新手們有所幫助，少走筆者的彎路。

PS. 本文基於 Cloudera CDH 3u4（同Apache Hadoop 1.0）編寫。相關推薦配置為官方推薦值或者筆者經驗數值，它不是絕對的，可能會因為不同的應用場景和硬體環境有所出入。

1. 選擇Cloudera CDH部署你的Cluster

動機

大多數管理員都是從Apache Hadoop開始學習。筆者最開始也使用Apache版本Hadoop進行開發和部署工作，但接觸到Cloudera CDH後，我發現它可以使管理員的工作更簡單，不僅可以獲得最新的特性和Bug修復，有時也會帶來令人驚喜的效能改善。

CDH為什麼更好？筆者羅列了以下幾點：

1. CDH基於穩定版Apache Hadoop，並應用了最新Bug修復或者Feature的Patch。Cloudera常年堅持季度發行Update版本，年度發行Release版本，更新速度比Apache官方快，而且在實際使用過程中CDH表現無比穩定，並沒有引入新的問題。
2. Cloudera官方網站上安裝、升級文件詳細，省去Google時間。
3. CDH支援Yum/Apt包，Tar包，RPM包，Cloudera Manager四種方式安裝，總有一款適合您。官方網站推薦Yum/Apt方式安裝，筆者體會其好處如下：
   1. 聯網安裝、升級，非常方便。當然你也可以下載rpm包到本地，使用Local Yum方式安裝。
   2. 自動下載依賴軟體包，比如要安裝Hive，則會級聯下載、安裝Hadoop。
   3. Hadoop生態系統包自動匹配，不需要你尋找與當前Hadoop匹配的Hbase，Flume，Hive等軟體，Yum/Apt會根據當前安裝Hadoop版本自動尋找匹配版本的軟體包，並保證相容性。
   4. 自動建立相關目錄並軟鏈到合適的地方（如conf和logs等目錄）；自動建立hdfs, mapred使用者，hdfs使用者是HDFS的最高許可權使用者，mapred使用者則負責mapreduce執行過程中相關目錄的許可權。

推薦指數：★★★

推薦理由：獲取最新特性和最新Bug修復；安裝維護方便，節省運維時間。

2. Hadoop叢集配置與管理

安裝和維護Hadoop叢集涉及大量的管理工作，包括軟體安裝，裝置管理（crontab、iptables等）、配置分發等。

對於小型叢集軟體分發和節點管理可以使用PDSH這款軟體，它可以通過免金鑰的SSH將檔案分發到目標伺服器，以及為一組目標裝置傳送命令並獲得反饋。如果是大型叢集或者硬體配置差別很大的叢集，推薦使用puppet這樣的工具幫助你維護配置檔案，或者通過Cloudera Manager以GUI的方式的管理叢集（注意：Clodera Manager不是開源軟體，免費版最多支援50個節點）。

推薦指數：★★★

推薦理由：提高運維效率

3. 開啟SecondaryNameNode

SecondaryNameNode（下稱SNN）的主要功能是工作是幫助NameNode（下稱NN）合併編輯日誌，然後將合併後的映象檔案copy回NN，以減少NN重啟時合併編輯日誌所需的時間。SNN不是NN的熱備，但是通過以下步驟可以實現將SNN切換為NN的目的。首先，SNN節點上匯入從NN Copy過來的映象檔案，然後修改SNN機器名和IP與NN一致，最後重啟叢集。

特別注意的是SNN的記憶體配置要與NN一致，因為合併編輯日誌的工作需要將metadata載入到記憶體完成。另外，不僅僅是SNN，任何儲存NN映象的節點都可以通過上面步驟變為NN，只是SNN更適合罷了。

推薦指數：★★★

推薦理由：減少NN重啟導致叢集服務中斷時間；NN節點故障後，SNN充當NN角色

4. 使用Ganglia和Nagios監控你的叢集

當執行一個大型mapreduce 作業時，我們通常非常關心該作業對TaskTracker（下稱TT）CPU、記憶體、磁碟，以及整個網路的頻寬情況，這時候就需要Ganglia這個工具為我們生成相關圖表來診斷、分析問題。

Ganglia可以監控叢集狀態，但當你的伺服器down機或者某個TT掛掉，它卻無法通知到你，這時我們可以使用Nagios這款告警軟體，它可以配置郵件告警和短息告警。通過編寫plugins，可以實現自己的監控功能。我們的叢集目前做了如下監控：

1. NameNode、JobTracker記憶體
2. DataNode和TaskTracker執行狀態
3. NFS服務狀態
4. 磁碟使用情況
5. 伺服器負載狀態

推薦指數：★★★

推薦理由：Ganglia可以幫你記錄叢集狀態，方便診斷問題；Nagios可以再遇到問題時第一時間通知你。

5. 設定好記憶體至關重要

Hadoop叢集安裝完畢後，第一件事就是修改bin/hadoop-evn.sh檔案設定記憶體。主流節點記憶體配置為32GB，典型場景記憶體設定如下

NN: 15-25 GB
JT：2-4GB
DN：1-4 GB
TT：1-2 GB，Child VM 1-2 GB 

叢集的使用場景不同相關設定也有不同，如果叢集有大量小檔案，則要求NN記憶體至少要20GB，DN記憶體至少2GB。

推薦指數：★★★★★

推薦理由：幾個元件中NN對記憶體最為敏感，它有單點問題，直接影響到叢集的可用性；JT同樣是單點，如果JT記憶體溢位則所有MapReduce Job都無法正常執行。

6. 管理員玩轉MapReduce

Hadoop原生MapReduce需要Java語言編寫，但是不會Java也沒問題，通過Hadoop streaming框架管理員可以使用Python，Shell，Perl等語言進行MapReduce開發，但更簡單的辦法是安裝和使用Hive或者Pig。

推薦指數：★★★

推薦理由：減少運維時間，快速響應各種ad-hot需求和故障診斷。

7. NameNode HA

前面已經說過，NN是整個叢集可能出現的單點故障。

Hadoop通過在hdfs.site.xml檔案的dfs.name.dir屬性指定保持的metadata路徑，如果希望保持到多個路徑，可以使用逗號分割配置多個路徑。

<property>
    <name>dfs.name.dir</name>
    <value>/data/cache1/dfs/nn,/data/cache2/dfs/nn</value>
</property>

Hadoop官方推薦配置為metadata配置多個path，其中包含一個NFS的路徑。但根據筆者一次叢集嚴重故障經驗，即使這樣，還是導致了所有映象檔案損壞，包括SNN上的映象檔案，所以定期備份一個可用的副本還是很有必要的。

推薦指數：★★★★★

推薦理由：Cloudera3uX和Apache1.0的NN單點問題是大家最頭痛問題之一，多些準備，少許痛苦。

8. 使用firewall阻止壞人進入

Hadoop的安全控制非常簡單，只包含簡單的許可權，即只根據客戶端使用者名稱，決定使用許可權。它的設計原則是：“避免好人做錯事，但不阻止壞人做壞事”。

如果你知道某臺NN的IP和埠，則可以很輕鬆獲取HDFS目錄結構，並通過修改本機機器使用者名稱偽裝成HDFS檔案所屬owner，對該檔案進行刪除操作。

通過配置kerberos，可以實現身份驗證。但很多管理員使用更簡單有效的辦法——通過防火牆對訪問IP進行控制。

推薦指數：★★★★★

推薦理由：安全無小事，防範於未然。

9. 開啟垃圾箱(trash)功能

動機

我曾經犯下一個錯誤，在我加班非常累，大腦稍有混亂的時候，不小心刪除執行了一個命令“hadoop fs -rmr /xxx/xxx”，沒有刪除提示，幾TB的資料，一下子就沒有了。簡直讓我崩潰，後悔莫及。這時你多希望有個時間機器可以讓HDFS恢復到刪除前的狀態。

trash功能就是這個時間機器， 它預設是關閉的，開啟後，被你刪除的資料將會mv到操作使用者目錄的".Trash"資料夾，可以配置超過多長時間，系統自動刪除過期資料。這樣一來，當操作失誤的時候，可以把資料mv回來。開啟垃圾箱步驟如下：

vi core-site.xml ，新增下面配置，value單位為分鐘。

<property>  
  <name>fs.trash.interval</name>  
  <value>1440</value>  
</property>  

筆者 在CDH3u4下不用重啟Namenode就可以生效。開啟垃圾箱後，如果希望檔案直接被刪除，可以在使用刪除命令時新增“–skipTrash” 引數，如下：

hadoop fs –rm –skipTrash /xxxx

推薦指數：★★★★★

推薦理由：想要時間機器嗎？

10. 去社群尋找幫助

Hadoop是一個非常優秀的開源專案，但它仍存有很多尚未解決的問題，諸如，NN,JT單點問題，JT掛死問題，Block在小檔案下彙報效率低下等問題。此時可以通過如下渠道找到可以幫助你的人，筆者幾次叢集嚴重故障都是通過Cloudera公司的google user group直接獲得幾位 committer的幫助。通常前一天提問，第二天就會有反饋。下面是兩個能夠幫助的你的社群，當然你也可以幫助其他人：

Apache hadoop的mail list :

Cloudera CDH google group:

推薦指數：★★★★★

推薦理由：沒有人比軟體作者更熟悉Hadoop本身，去社群求助，幫你解決很多自己無法跨越的問題。

Cloudera簡介：

公司是一家Hadoop軟體服務公司，提供免費軟體CDH和Cloudera Manager Free Edition，同時提供Hadoop相關資訊、培訓、技術支援等服務。Hadoop創始人Dong Cutting在該公司任架構師，同時該公司擁有多名Apache Committer。

作者介紹：

張月， Java程式設計師，7年工作經驗，2007年加入藍汛chinacache至今，目前從事Hadoop相關工作，關注敏捷和海量資料領域，關注軟體開發過程。 他擁有Cloudera Certified Administrator for Apache Hadoop （CCAH）和Cloudera Certified Developer for Apache Hadoop （CCDH）證書，部落格：heipark.iteye.com

感謝鄭柯對本文的審校。

給InfoQ中文站投稿或者參與內容翻譯工作，請郵件至[email protected]。也歡迎大家通過新浪微博（@InfoQ）或者騰訊微博（@InfoQ）關注我們，並與我們的編輯和其他讀者朋友交流。