eclipse集成使用Hadoop插件運行WordCount程序
雲地址:https://pan.baidu.com/s/1CmBAJMdcwCxLGuCwSTcJNw 密碼:qocw
前提條件:啟動集群 ,配置好JDK和hadoop環境變量 有必要刪除 虛擬機中的output文件 使用
[root@master sbin]# hadoop fs -rm -r /output
Deleted /output
[root@master sbin]# ll
給hadoop文件權限
[root@master sbin]# hadoop fs -chmod 777 /
1.打開eclopse的安裝包
把下載好的hadoop插件 hadoop-eclipse-plugin-2.6.0.jar放到如上的目錄下重啟ecliplse
配置hadoop安裝路徑
選擇 window-preferences-hadoop Map/Reduce - hadoop installation directory 命令選擇hadoop的安裝目錄
註意安裝目錄是你配置環境變量的hadoop不然當你創建wordCount項目的時候會缺少jar包導致不能運行
配置Map/reduce
單擊 window-show Perspective--other-Map/Reduce-ok 按鈕配置 Map/Reduce視圖
單機 window-show View-other-Map/reduce-ok按鈕顯示 Map/Reduce Locations 選項卡
如圖所示配置主機對應
如果你的集群配置成功的話
[root@master sbin]# jps
14036 NameNode
19319 Jps
14570 ResourceManager
14302 SecondaryNameNode
這四個配置文件都有的化
出現如下界面說明連接成功 否側會包一個
刷新項目
如果到這裏啦恭喜成功一半了
接下來需要更改hadoop的bin下的文件
如圖打開目錄
復制我的百度雲裏面的jar包hadoop-common-2.2.0-bin-master 不同的eclipse版本可能不同
把這個目錄下的所有文件copy到hadoop的bin目錄下 替換並增加
回到開發環境
新建woredCount項目
正如上圖描述hadoop如果配置成功這些jar包一個也不會少尤其是hadoop的jar
接下來需要我們下載的org包裏面的類復制到src目錄下為了防止報錯
直接copy org整個目錄到hello項目的src目錄下
接著找到hadoop自帶的提供WordCount示例wordCount.java類
改一下包明
就行了
由於文件沒有輸出所以到hadoop目錄下copy一個日誌文件
最後一步
hdfs://192.168.10.11:9000/input3
hdfs://192.168.10.11:9000/output/wordcount
直至控制臺打印輸出
成功
eclipse集成使用Hadoop插件運行WordCount程序