Hadoop 大數據 雲計算

Win7下MyEclipse遠程連接到Mac/Linux中Hadoop集群
（也可訪問該網頁查看：http://tn.51cto.com/article/562 ）
所需軟件：
（1）下載Hadoop2.5.1到Win7系統下，並解壓縮
Hadoop2.5.1下載地址：Indexof/dist/hadoop/core/hadoop-2.5.1
http://archive.apache.org/dist/hadoop/core/hadoop-2.5.1/

說明:Win7中下載的是Hadoop2.5.1，Mac中的Hadoop版本是Hadoop2.5;版本不一致，但測試的時候，結果沒有錯誤，但有的人測試時說版本最好一樣，此處可以留意下。

（2）Hadoop運行在Linux系統下的，在windows下eclipse中運行hadoop程序，要首先安裝Windows下運行的支持插件hadoop2.2-common-bin.zip,下載地址如下：https://github.com/srccodes/hadoop-common-2.2.0-bin
說明:這裏使用的是hadoop2.2-common-bin.zip,和Hadoop版本不一致，但結果沒有錯誤且沒有報異常。不配置該插件運行Hadoop會報異常：
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
（3）配置hadoop環境變量（與Java的環境配置有些相似）
windows環境變量配置：右鍵“我的電腦” –>屬性 ->高級環境變量配置 –>高級選項卡 ->環境變量 -> 單擊新建HADOOP_HOME->配置下載的Hadoop路徑。

（4）下載hadoop-eclipse-plugin-2.2.0.jar，MyEclipse/Eclipse中開發Hadoop所需插件。下載並拷貝它到MyEclipse安裝路徑的如下位置；

（5）重啟MyEclipse或Eclipse會出現右側“藍色大象”所示圖標，表示插件hadoop插件安裝成功。

(6)eclipse環境配置:點擊“菜單Window”-->Preference-->Hadoop Map/Reduce進行配置，如下圖所示：

(7)出現下圖所示view，表示配置成功。

(8) 切換到配置文件並修改
① cd hadoop/hadoop2.5/etc/hadoop
② cat core-site.xml
配置hadoop偽分布時一般使用localhost做為namenode的標識，如圖所示。

這裏需要修改成Linux的主機名或IP地址，否則windows下的Hadoop程序不能連接到Linux或者Mac中的Hadoop上進行運行，且報錯。

如圖所示，表示連接失敗：

說明：如果使用主機名進行連接，需要配置主機名到IP的映射。
如圖所示：

（9）啟動Mac或者Linux中的hadoop,使用jps命令觀察是否運行成功。


（10）配置hdfs，新建New Hadooop location或者Edit Hadoop location

具體配置說明：

（11）測試：在Mac或者Linux中查看是否能夠訪問到Hdfs.如下圖所示：

上圖，顯示了hdfs中有一個文件。

Win7下MyEclipse遠程連接到Mac/Linux中Hadoop集群