最近比較迷hadoop，因為覺得在如今網際網路時代大資料應用將會有不錯的前景。雖然現在已經有了很多hadoop解決方案的應用商比如說Hortonworks、Cloudera等等這樣的公司，但是我還是覺得自己從apache上下載安裝hadoop是一件很酷的事，這樣的話所有配置都是在自己的掌握之下才能更好的學習hadoop的知識。閒話不多說了，接下來就是記錄自己學習hadoop的心得與技巧，高手看了一笑了之，新手一起共勉！

1、先從官網http://hadoop.apache.org上下載hadoop1.x版本（暫未研究Hadoop2）.

2、安裝linux作業系統，很多教程都是安裝的ubuntu系統可是我不喜歡，本人還是喜歡CentOS和RedHat系統，有閒置的真機當然最好，如果沒有的話就只能玩虛擬機器了。(本人的筆記本配置還行，8G的記憶體所以就搭建了五臺虛擬機器，一個namenode,一個seco)

3、將下載的hadoop壓縮包解壓到/usr/local目錄（很多教材推薦目錄），最重要的安裝jdk，最好是將系統原有的jdk版本解除安裝然後重新從官網下載較新的比較穩定版本的jdk，建議下載壓縮包格式的jdk。同樣的將下載好的jdk壓縮包也解壓到/usr/local目錄下。

4、hadoop與jdk都已經解壓到了指定的目錄中，接下來就是配置它們的環境變量了，在使用者的主目錄下的.bash_profile或者.bashrc檔案中新增PATH變數：

並且將變數下的bin目錄匯入到PATH中：

最後通過執行jdk命令java -version檢視jdk安裝是否成功,執行hadoop命令hadoop version檢視hadoop是否安裝成功：

5、安裝成功後，然後就是對叢集的配置了，為了便於對hadoop配置的管理和日後升級的方便，將hadoop安裝目錄中的conf目錄移到/etc下並將conf目錄重新命名為hadoop，則hadoop的配置檔案就到移到了/etc/hadoop目錄下這樣好像也還符合linux系統的習慣，然後在hadoop安裝目錄中建立一個軟連結conf到/etc/hadoop：

6、配置ssh，這個步驟是比較重要的，很多人都會問為什麼要配置這一步，如果你研究過hadoop的啟動指令碼的話你就可以發現其實就是namenode節點需要ssh登入到各個datanode上去啟動hadoop的程序。所以並不需要有的書上說的要配置所以節點間相互的無密碼登入。那麼我們就先在namenode節點上生成金鑰對：

一直回車，完成後會在使用者主目錄下的.ssh目錄下生成兩個檔案：

通過命令將id_rsa.pub公鑰檔案複製到其他節點上去：ssh-copy-id <hostname>，這樣就直接把檔案拷貝到了其他節點的.ssh目錄下並且還自動改為了authorized_key檔案

然後可以逐一的去檢驗ssh登入了。

轉載於:https://blog.51cto.com/liujiachang/1363656