一步一步跟我學習hadoop(2)----hadoop eclipse外掛安裝和執行wordcount程式
本部落格hadoop版本是hadoop 0.20.2。
安裝hadoop-0.20.2-eclipse-plugin.jar
- 下載hadoop-0.20.2-eclipse-plugin.jar檔案，並新增到eclipse外掛庫，新增方法很簡單：找到eclipse安裝目錄下的plugins目錄，直接複製到此目錄下，重啟eclipse
- 依次點選eclipse工具欄的window-----show view ------other在彈出的視窗中輸入map,確認找到如下所示
到這裡外掛安裝成功
map/reduce配置
- 配置hadoop installation directory
依次點選eclipse的window-----preference,在彈出的視窗中找到Hadoop Map/Reduce，選擇hadoop 安裝檔案地址（此處的安裝檔案不需要和叢集中的hadoop環境完全一樣）
- hadoop map/reduce locations配置
在map/Reduce檢視下，點選如下圖示
會彈出視窗如下，按照圖中提示輸入對應的內容
在Advanced Parameters選項卡，輸入內容如下，這裡我截兩個圖
其他設定
驗證hadoop map/reduce locations配置
在Map/Reduce的project Explorer檢視下，點選dfs下自己配置的map/reduce locations,如果各個節點均可以展開則說明配置沒有問題
測試wordcount程式
在hdfs檔案系統新增input目錄
hadoop fs -mkdir input
在eclipse重新整理dfs locations並上傳檔案，這裡我上傳了兩個檔案，檔案內容新增部分空格（wordcount根據空格進行統計單詞）
執行wordcount
執行wordcount需要命令列引數，引數有兩個，第一個是要統計的資料夾hdfs路徑,另一個是輸出的路徑;
這裡注意輸出路徑是上傳檔案路徑的父目錄，填寫的時候用dfs locations檢視雙擊檔案，即可檢視該檔案的hdfs路徑，我們要的是他的目錄，這裡就是hdfs://192.168.88.128:9000/user/root/input，另外的一個輸出引數我寫的是hdfs://192.168.88.128:9000/user/root/output
執行過後重新整理dfs locations，可以看到在input同級的目錄有了output目錄
在master機器上執行命令
hadoop fs -lsr /
也可以看到多出了一個output目錄，同時其下邊多了個檔案，此檔案就是統計結果
時間不早了，先寫到這裡吧，明天我會上傳相關的外掛，同時會上傳幾個hadoop相關的pdf文件