在myeclipse上連線hadoop-2.8.0 執行mapreduce程式
阿新 • • 發佈:2018-12-07
首先 hadoop叢集是要先搭建的沒的說。
可以先在hadoop上執行自帶的mapreduce jar包,跑一下,不成功說明配置檔案沒有配置好,這裡就不說配置哪些了,網上很多。
1.在windows下下載hadoop-2.8.0.tar.gz 並且解壓
2.下載 hadoop-eclipse-plugin-2.7.0.jar外掛 ,然後放到myeclipse的dropins資料夾下,然後重啟myeclipse。
3 windows -preferences 然後發現有出現下面這個hadoop Map/Reduce
4. 把前面解壓hadoop-2.8.0.tar.gz 的路徑輸入然後點選OK。
5.重選擇window-->OpenPerspective-->Others;選擇Map/Reduce 點選OK;
6.根據你的hadoop 進行配置
這時候就可以看左邊有顯示自己的hdfs檔案夾了
6.windows的環境變數中要配置上上面解壓的hadoop的環境變數,配置方法和配置jdk一樣。
7.下載 winutils.exe 和hadoop.dll 放到上面解壓的hadoop下的bin目錄裡面,並且把hadoop.dll放到C:\Windows\System32目錄。 下載地址:https://github.com/steveloughran/winutils
如果報錯是許可權不允許的話:在hdfs-site.xml 裡面加上:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
問題解決,盡情的寫你的mapreduce吧,夥計。