Hadoop Eclipse 外掛製作以及安裝
在本地使用Eclipse除錯MapReduce程式,需要Hadoop外掛,筆摘記錄下製作安裝過程。
準備工作(hadoop-2.6.0為例):
搭建好Hadoop環境
下載Hadoop安裝包,解壓到某個路徑(D:\hadoop-2.6.0)
下載 hadoop2x-eclipse-plugin包
安裝jdk 、ant、eclipse
相關資源下載:https://pan.baidu.com/s/11xMtbRWpy96gWIwQeQOKOg
一、製作
2、編譯準備
需要安裝 jdk,Ant、Eclipse
jdk安裝配置 : https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
ant安裝配置:https://jingyan.baidu.com/article/90808022c5eed8fd91c80f90.html
3、編譯
(1)進入hadoop2x-eclipse-plugin解壓目錄下(D:\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin)
(2)執行命令 :ant jar -Dversion=2.6.0 -Declipse.home=D:\temp\eclipse -Dhadoop.home=D:\hadoop-2.6.0
引數說明:
1.Dversion是你編譯的版本,此版本為2.6.0
(3)執行完畢
生成外掛(build/contrib/eclipse-plugin目錄下產生一個hadoop-eclipse-plugin-2.6.0.jar檔案),外掛製作結束。
二、外掛安裝
1.安裝外掛
把外掛放入eclipse plugins資料夾,然後開啟win7下Eclipse,將hadoop-eclipse-plugin-2.6.0.jar外掛放到Eclipse安裝目錄的plugins資料夾下,我這裡的路徑是D:\hbl_download\eclipse\plugins
2.重啟Eclipse 通過window-》preference 找到下圖所示,選擇Hadoop安裝目錄
3.建立New hadoop location 通過下面操作,單擊other
選擇MapReduce Tool選項
4.配置New hadoop location
右鍵New hadoop location
其中50020是Map/Reduce(V2) Master預設埠,9000為配置檔案中DFS Master配置的埠
5.檢視效果配置完畢,檢視效果
三、MapReduce程式除錯
本地除錯MapReduce程式,需要在解壓的Hadoop的bin目錄下安裝winutils.exe,以及將 hadoop.dll拷貝至C:\Windows\System32目錄中