Hadoop學習2_Hadoop完全分散式的Eclipse開發環境配置
Hadoop安全分散式的Eclipse開發環境配置
安裝Eclipse:
安裝Hadoop-Eclipse-Plugin:
下載 hadoop2x-eclipse-plugin ,將 release 中的 hadoop-eclipse-kepler-plugin-2.2.0.jar (雖然標註的是 2.2.0,但在 2.6.0 下是沒問題的,應該在 2.x 版本下都可以)複製到 Eclipse 安裝目錄的 plugin 資料夾中,執行 eclipse -clean 重啟 Eclipse 即可
注:將Hadoop-Eclipse-Plugin複製到home/haoop/目錄下
(這一步可直接在普通使用者下操作,若在root
unzip ./hadoop2x-eclipse-plugin-master.zip
解壓
(進入root使用者)
cp /home/hadoop/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-kepler-plugin-2.2.0.jar /usr/local/eclipse/eclipse/plugins/
複製
/usr/local/eclipse/eclipse/eclipse -clean
重啟
啟動 Eclipse 後就可以在左側的Project Explorer中看到 DFS Locations(若看到的是
(注:可以在Windows-ShowView處選擇要顯示的對話方塊)
外掛的進一步配置:
第一步:
選擇 Window 選單下的 Preference
此時會彈出一個窗體,窗體的左側會多出 Hadoop Map/Reduce 選項,點選此選項,選擇 Hadoop 的安裝目錄(如/usr/local/hadoop,直接輸入也可以)
第二步:
切換 Map/Reduce 工作目錄,選擇 Window 選單下選擇 Perspective -> Open Perspective -> Other,彈出一個窗體,從中選擇 Map/Reduce
第三步:
建立與 Hadoop 叢集的連線,點選 Eclipse軟體右下角的 Map/Reduce Locations 面板,在面板中單擊右鍵,選擇 New Hadoop Location。
注:資訊說明
Location Name:可以任意其,標識一個"Map/Reduce Location"
Map/Reduce Master
Host:192.168.154.156(Master的IP地址)
Port:9001
DFS Master
Use M/R Master host:前面的勾上。(因為我們的NameNode和JobTracker都在一個機器上。)
Port:9000
User name:hadoop(預設為Win系統管理員名字,因為我們之前改了所以這裡就變成了hadoop)
接著再切換到 Advanced parameters 選項面板,這邊有詳細的配置,切記需要與 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置檔案)一致,如果配置了 hadoop.tmp.dir,就要進行修改。
/usr/local/hadoop/tmp
如果此時Hadoop沒有執行,則會看到下面的結果。
啟動Hadoop,結果符合預期。