1. 程式人生 > >在Eclipse中開發MapReduce程序

在Eclipse中開發MapReduce程序

新建 x86_64 code arch hub image 參數 finish hdf

  一、Eclipse的安裝與設置

  1.在Eclipse官網上下載eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz文件並將其拷貝到/home/jun/Resources下,然後再將文件拷貝到/home/jun下並解壓。

[jun@master ~]$ cp /home/jun/Resources/eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz /home/jun/
[jun@master ~]$ tar -zxvf /home/jun/eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz 

  2.執行.eclipse程序即可啟動eclipse

[jun@master ~]$ cd eclipse/
[jun@master eclipse]$ ls
artifacts.xml  configuration  dropins  eclipse  eclipse.ini  features  icon.xpm  p2  plugins  readme
[jun@master eclipse]$ ./eclipse 

  3.安裝hadoop插件

  (1)下載:https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar

  (2)將hadoop-eclipse-plugin-2.6.0.jar放到/home/jun/eclipse/plugins下

  (3)啟動eclipse,選擇Window→Preferences→Hadoop Map/Reduce→Hadoop installation directory→選擇/home/jun/hadoop

  (4)選擇Window→Show View→Other→MapReduce Tools→Map/Reduce Locations→OK

  (5)在下方Map/Reduce Locations子窗口內空白部分右鍵-New Hadoop Location

  (6)按下圖進行配置,點擊Finish

  技術分享圖片

  (7)在左邊看到下面圖即可

  技術分享圖片

  

  二、在Eclipse上開發MapReduce程序

  1.新建input.txt並上傳到HDFS的/test文件夾中,在eclipse中右鍵點擊Refresh即可看到剛剛上傳的文件。在eclipse中可以進行文件目錄創建、文件上傳、文件下載、文件或文件夾刪除等操作,但是不能編輯文件內容。

  技術分享圖片

  2.新建項目

  選擇File→New→Other→Map/Reduce Project→Next→Project name{WordCount}→Next→Finish

  然後新建包和類

  技術分享圖片

  3.獲得源碼

  桌面上進入技術分享圖片

  選擇hadoop-mapreduce-examples-2.8.4-sources.jar並右鍵Open With Archive Manager,找到WordCount.java用gedit打開即可得到源碼

  然後將源碼復制到eclipse新建的類中

  4.運行程序  

  在java文件上右鍵點擊Run As→Run Configurations→Java Application→Arguments

  第一個參數是輸入文件,第二個參數是輸出目錄(必須之前不存在),然後點擊Apply

  技術分享圖片

  在Java文件上右鍵Run As→Run on Hadoop

  然後在Hadoop的test目錄下新增了output子目錄,且下面有兩個文件,其中part-r-000000包含了計算結果

  技術分享圖片

  到這裏,就完成了第一個在Eclipse上開發並運行MapReduce程序。

在Eclipse中開發MapReduce程序