Hadoop的程式設計可以是在Linux環境或Winows環境中，在此以Windows環境為示例，以Eclipse工具為主（也可以用IDEA）。網上也有很多開發的文章，在此也參考他們的內容只作簡單的介紹和要點總結。

Hadoop是一個強大的並行框架，它允許任務在其分散式叢集上並行處理。但是編寫、除錯Hadoop程式都有很大難度。正因為如此，Hadoop的開發者開發出了Hadoop Eclipse外掛，它在Hadoop的開發環境中嵌入了Eclipse，從而實現了開發環境的圖形化，降低了程式設計難度。在安裝外掛，配置Hadoop的相關資訊之後，如果使用者建立Hadoop程式，外掛會自動匯入Hadoop程式設計介面的JAR檔案，這樣使用者就可以在Eclipse的圖形化介面中編寫、除錯、執行Hadoop程式（包括單機程式和分散式程式），也可以在其中檢視自己程式的實時狀態、錯誤資訊和執行結果，還可以檢視、管理HDFS以及檔案。總地來說，Hadoop Eclipse外掛安裝簡單，使用方便，功能強大，尤其是在Hadoop程式設計方面，是Hadoop入門和Hadoop程式設計必不可少的工具

Hadoop工作目錄簡介

為了以後方便開發，我們按照下面把開發中用到的軟體安裝在此目錄中，JDK安裝除外，我這裡把JDK安裝在D盤的直屬目錄Java安裝路徑下（安裝在Program Files下有些地方會報空隔截斷錯誤），下面是工作目錄：

系統磁碟（D：）

|—HadoopWork

|— eclipse

|— hadoop-2.7.3

|— workplace

|—……

按照上面目錄把Eclipse和Hadoop解壓到"D:\HadoopWork"下面，並建立"workplace"作為Eclipse的工作空間。

Eclipse外掛開發配置 第一步：把我們的"hadoop2x-eclipse-plugin-master"放到Eclipse的目錄的"plugins"中，然後重新Eclipse即可生效。

系統磁碟（D：）

|—HadoopWork

|— eclipse

|—plugins

|— hadoop2x-eclipse-plugin-master.jar

上面是我的"hadoop-eclipse-plugin"外掛放置的地方。重啟Eclipse如下圖：

從上圖中左側"Project Explorer"下面發現"DFS Locations"，說明Eclipse已經識別剛才放入的Hadoop Eclipse外掛了。

第二步：選擇"Window"選單下的"Preference"，然後彈出一個窗體，在窗體的左側，有一列選項，裡面會多出"Hadoop Map/Reduce"選項，點選此選項，選擇Hadoop的安裝目錄（如我的Hadoop目錄：D:\HadoopWork\hadoop-2.7.3）。結果如下圖：

第三步：切換"Map/Reduce"工作目錄，有兩種方法：

1）選擇"Window"選單下選擇"Open Perspective"，彈出一個窗體，從中選擇"Map/Reduce"選項即可進行切換。

2）在Eclipse軟體的右上角，點選圖示"

“中的”

“，點選"Other"選項，也可以彈出上圖，從中選擇"Map/Reduce”，然後點選"OK"即可確定。

切換到"Map/Reduce"工作目錄下的介面如下圖所示。

第四步：建立與Hadoop叢集的連線，在Eclipse軟體下面的"Map/Reduce Locations"進行右擊，彈出一個選項，選擇"New Hadoop Location"，然後彈出一個窗體。

注意上圖中的紅色標註的地方，是需要我們關注的地方。

Location Name：可以任意其，標識一個"Map/Reduce Location"

Map/Reduce Master

Host：192.168.80.32（Master.Hadoop的IP地址）

Port：9001

DFS Master

Use M/R Master host：前面的勾上。（因為我們的NameNode和JobTracker都在一個機器上。）

Port：9000

User name：hadoop (與署中的一致)

備註：這裡面的Host、Port分別為你在mapred-site.xml、core-site.xml中配置的地址及埠。不清楚的可以參考"0基礎搭建Hadoop大資料處理-叢集安裝"進行檢視。

接著點選"Advanced parameters"從中找見"hadoop.tmp.dir"，修改成為我們Hadoop叢集中設定的地址，我們的Hadoop叢集是"/usr/local/hadoop273/hadoop_tmp"，這個引數在"core-site.xml"進行了配置。

點選"finish"之後，會發現Eclipse軟體下面的"Map/Reduce Locations"出現一條資訊，就是我們剛才建立的"Map/Reduce Location"。

第五步：檢視HDFS檔案系統，並嘗試建立資料夾和上傳檔案。點選Eclipse軟體左側的"DFS Locations"下面的，就會展示出HDFS上的檔案結構。

右擊">user>hadoop"可以嘗試建立一個"資料夾–index_in"，然後右擊重新整理就能檢視我們剛才建立的資料夾。

建立完之後，並重新整理。

遠端登入"Master.Hadoop"伺服器，用下面命令檢視是否已經建立一個"index_in"的資料夾。

hadoop fs -ls

到此為止，我們的Hadoop Eclipse開發環境已經配置完畢，不盡興的同學可以上傳點本地檔案到HDFS分散式檔案上，可以互相對比意見檔案是否已經上傳成功。

Eclipse執行WordCount程式 配置Eclipse的JDK 如果電腦上不僅僅安裝的JDK8.0，那麼要確定一下Eclipse的平臺的預設JDK是否8.0。從"Window"選單下選擇"Preference"，彈出一個窗體，從窗體的左側找見"Java"，選擇"Installed JREs"，然後新增JDK8.0。下面是我的預設選擇JRE。

如果沒有的話點選Add新增。

新增後按下圖選擇1.8的版本。

設定Eclipse的編碼為UTF-8

建立MapReduce專案 從"File"選單，選擇"Other"，找到"Map/Reduce Project"，然後選擇它。

接著，填寫MapReduce工程的名字為"WordCountProject"，點選"finish"完成。

目前為止我們已經成功建立了MapReduce專案，我們發現在Eclipse軟體的左側多了我們的剛才建立的專案。

建立WordCount類 選擇"WordCountProject"工程，右擊彈出選單，然後選擇"New"，接著選擇"Class"，然後填寫如下資訊：

因為我們直接用Hadoop2.7.3自帶的WordCount程式，所以報名需要和程式碼中的一致為"org.apache.hadoop.examples"，類名也必須一致為"WordCount"。這個程式碼放在如下的結構中。

hadoop-2.7.3

|—src

|—examples

|—org

|—apache

|—hadoop

|—examples

從上面目錄中找見"WordCount.java"檔案，用記事本開啟，然後把程式碼複製到剛才建立的java檔案中。由於程式碼貼出來亂了，下面就貼出圖：

備註：如果不加"conf.set(“mapred.job.tracker”, “192.168.80.32:9001”);"，將提示你的許可權不夠，其實照成這樣的原因是剛才設定的"Map/Reduce Location"其中的配置不是完全起作用，而是在本地的磁碟上建立了檔案，並嘗試執行，顯然是不行的。我們要讓Eclipse提交作業到Hadoop叢集上，所以我們這裡手動新增Job執行地址。

執行WordCount程式

選擇"Wordcount.java"程式，右擊一次按照"Run AS Run on Hadoop"執行。然後會彈出如下圖，按照下圖進行操作。

在Console中可以看到輸出日誌。

檢視WordCount執行結果

檢視Eclipse軟體左側，右擊"DFS Locations》Hadoop273》user》hadoop"，點選重新整理按鈕"Refresh"，我們剛才出現的資料夾"newoutput"會出現。記得"newoutput"資料夾是執行程式時自動建立的，如果已經存在相同的的資料夾，要麼程式換個新的輸出資料夾，要麼刪除HDFS上的那個重名資料夾，不然會出錯。

開啟"newoutput"資料夾，開啟"part-r-00000"檔案，可以看見執行後的結果。

還可以將專案匯出成jar包，傳送到Hadoop伺服器上執行，就像執行自帶的example一樣。

到此為止，Eclipse開發環境設定已經完畢，並且成功執行Wordcount程式，下一步我們真正開始Hadoop之旅。

擴充套件 以下列出自己和參考園友列出的問題彙總：

INFO hdfs.DFSClient: Exception in createBlockOutputStream

java.net.NoRouteToHostException: 沒有到主機的路由

在每個伺服器上jps看下hadoop的程序有沒啟動，如果都啟動了，則停掉主機和幾個Slave的防火牆，如果再沒有出現問題的話說明相關埠沒有開放，在防火牆中加入相關埠。

"error: failure to login"問題

下面以網上找的"hadoop-0.20.203.0"為例，我在使用"V1.0"時也出現這樣的情況，原因就是那個"hadoop-eclipse-plugin-1.0.0_V1.0.jar"，是直接把原始碼編譯而成，故而缺少相應的Jar包。具體情況如下

在我實踐嘗試中，發現hadoop-0.20.203.0版本的該包如果直接複製到eclipse的外掛目錄中，在連線DFS時會出現錯誤，提示資訊為： “error: failure to login”。

彈出的錯誤提示框內容為"An internal error occurred during: “Connecting to DFS hadoop”.org/apache/commons/configuration/Configuration". 經過察看Eclipse的log，發現是缺少jar包導致的。進一步查詢資料後，發現直接複製hadoop-eclipse-plugin-0.20.203.0.jar，該包中lib目錄下缺少了jar包。

經過網上資料蒐集，此處給出正確的安裝方法：

首先要對hadoop-eclipse-plugin-0.20.203.0.jar進行修改。用歸檔管理器開啟該包，發現只有commons-cli-1.2.jar 和hadoop-core.jar兩個包。將hadoop/lib目錄下的：

commons-configuration-1.6.jar ,

commons-httpclient-3.0.1.jar ,

commons-lang-2.4.jar ,

jackson-core-asl-1.0.1.jar

jackson-mapper-asl-1.0.1.jar

一共5個包複製到hadoop-eclipse-plugin-0.20.203.0.jar的lib目錄下，如下圖：

然後，修改該包META-INF目錄下的MANIFEST.MF，將classpath修改為一下內容：

Bundle-ClassPath:classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

這樣就完成了對hadoop-eclipse-plugin-0.20.203.0.jar的修改。

最後，將hadoop-eclipse-plugin-0.20.203.0.jar複製到Eclipse的plugins目錄下。（各版本對應的版本號也不相同）

"Permission denied"問題

網上試了很多，有提到"hadoop fs -chmod 777 /user/local/hadoop273 “，有提到"dfs.permissions 的配置項，將value值改為 false”，有提到"hadoop.job.ugi"，但是通通沒有效果。

參考文獻：

錯誤型別：org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=*********, access=WRITE, inode=“hadoop”: hadoop:supergroup:rwxr-xr-x

解決方案：

我的解決方案直接把系統管理員的名字改成你的Hadoop叢集執行hadoop的那個使用者。

"Failed to set permissions of path"問題

錯誤資訊如下：

ERROR security.UserGroupInformation: PriviledgedActionException as: hadoop cause:java.io.IOException Failed to set permissions of path:\usr\hadoop\tmp\mapred\staging\hadoop753422487.staging to 0700 Exception in thread “main” java.io.IOException: Failed to set permissions of path: \usr\hadoop\tmp \mapred\staging\hadoop753422487.staging to 0700

解決方法：

Configuration conf = new Configuration();

conf.set(“mapred.job.tracker”, “[server]:9001”);

“[server]:9001"中的”[server]"為Hadoop叢集Master的IP地址。

"hadoop mapred執行目錄檔案權"限問題

錯誤資訊如下：

job Submission failed with exception 'java.io.IOException(The ownership/permissions on the staging directory /tmp/hadoop-hadoop-user1/mapred/staging/hadoop-user1/.staging is not as expected. It is owned by hadoop-user1 and permissions are rwxrwxrwx. The directory must be owned by the submitter hadoop-user1 or by hadoop-user1 and permissions must be rwx------)