windows下搭建hadoop+eclipse開發環境
阿新 • • 發佈:2019-01-29
我的環境:windows8+hadoop1.1.2+eclipse4.3(linux為centerOS6.4)
實現步驟
- 下載eclipse、hadoop,提取hadoop中的hadoop-eclipse-plugin-1.1.2.jar將其拷貝到eclipse中的plugins中(注 :如果沒有找到hadoop-eclipse-plugin-1.1.2.jar,可以到網上下載對應的版本,也可以使用ant編譯工具編譯一個,此處不講解怎樣編譯)
- 啟動eclipse,新增hadoop的路徑
- 開啟mapReduce檢視
- 如圖
- 新建New Hadoop location
- 編輯連線屬性
- 完成配置,顯示連線資訊
- 如圖(只有hadoop叢集啟動了才能連線成功哦)
- 連線成功!可以新建專案了咯
- 如圖
- 至此配置已完成!
Location Name:可以任意其,標識一個"Map/Reduce Location"
Map/Reduce Master
Host:192.168.0.9(Master.Hadoop的IP地址,
與linux叢集的mapred-site.xml檔案中配置的一樣)
Port:9001
(與linux叢集的mapred-site.xml檔案中配置的一樣)
· DFS Master
Use M/R Master host:前面的勾上。(因為我們的NameNode和JobTracker都在一個機器上。)
Port:9000(與linux叢集的core-site.xml
注意:hadoop叢集的linux機器必須開9000和9001埠