Windows下Eclipse關聯Hadoop開發
前言:
當hadoop的環境搭建好之後,我們就開始開發相關功能
工具呢,還是使用eclipse
筆者直接使用window下的eclipse來關聯hadoop進行開發,這時就需要單獨配置一些東西
準備:
* STS(也就是spring版本的eclipse)
* hadoop-eclipse-plugin-2.7.0.jar外掛(注意:不同版本的hadoop必須對應版本的外掛,讀者可自行編譯,也可以直接使用別人編譯好的,如果有同學需要該版本的外掛,可以聯絡我)
工具配置全過程:
1.將該外掛放入ECLIPSE_HOME/plugins下(筆者為STS,則放入STS_HOME\sts-bundle\sts-
3.8.4.RELEASE\plugins下)
2.重啟eclipse
3.開啟Window->Perferences,可以看到Hadoop Map/Reduce介面,
指向hadoop的安裝目錄
4.開啟Map/Reduce檢視
開啟Window->ShowView,輸入map,可以看到如下,選擇該檢視即可
5.新建hadoop_location
在Map/Reduce的檢視中,右鍵單擊,點選new hadoop location
* Location name可隨意命名
* Host輸入hadoop(注意:該host是在Windows環境下,所以需要在Windows的hosts檔案下配置hadoop與ip地址的對應
* DFS Master的Port即為我們的core-site.xml中FS.default中輸入的port
6.驗證
我們看到在Project Explorer中有DFS Locations,逐層開啟,可以看到與我們的HDFS檔案系統保持一致
總結:至此,我們的Eclipse關聯hadoop過程就結束了,下面我們可以再Windows環境下關聯hadoop進行開發了