[全圖解]Windows下的hadoop雲端計算開發環境!只要兩步!
轉載請註明出處:http://blog.csdn.net/crazyhan00 小站 lotobuy.com
cygwin可以在windows下模擬出linux環境,在其上安裝hadoop即可進行開發,hadoop4win提供了已經安裝好hadoop的Cygwin映象,直接下載安裝包即可安裝!
http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win
(一) hadoop4win
軟體簡介
hadoop4win,顧名思義為『Hadoop for Windows』,主要是提供Windows 平臺上簡易安裝 Hadoop 的批次安裝檔。此批次安裝檔內容,主要參考自國網中心企鵝龍與再生龍團隊成員孫振凱先生之
hadoop4win 目前包含五大軟體組成:
- Cygwin - 提供精簡版,類似 Linux 的環境
- JDK 1.6.0 update 18 - 執行 Hadoop 必須的 JRE(Java Runtime Environment) 與編譯程式所需之 javac 編譯器
- Hadoop 0.20.2 - 包含 Hadoop 0.20.2 原始程式與中英文說明檔案檔
- HBase 0.20.6 - 包含 HBase 0.20.6 原始程式碼
- Ant 1.8.2 - 包括 Apache Ant 1.8.2 執行檔
軟體需求
- Windows 2000, Windows XP
- 目前已知 Windows 7 無法正常執行。
(二) Eclipse 開發環境
1. 將hadoop外掛放入Eclipse 3.3的plugins中。
2. 啟動Eclipse,window - openperspective - other - Map/Reduce,開啟hadoop的檢視。
3. 設定Map/Reduce Location, 右鍵 EditHadoop Location,username用你的windows登入使用者名稱。9000和9001是在core-site.xml和mapred-site.xml中的設定.
對於這類配置檔案的編輯,Cygwin的檔案都可以在windows下編輯,不需要在linux終端中編輯(儘管可以),看看hadoop4win的目錄就知道。
4. 設定引數!
(三) 用Eclipse開發
設定成功後,應當可以在左邊看到,hadoop檔案系統。
在windows下編輯兩個文字,file01和file02,裡面嗎隨便寫一些英文句子。然後放到E:\hadoop4win\home\你的登入名,然後在hadoop4win開啟的Cygwin終端中:
cd /home/你的使用者名稱
hadoop fs -mkdirinput
hadoop fs -put file01 input
hadoop fs -put file02 input
在Eclipse中建個WordCount的例子,只要建立mapreduce project,然後在src下建一個包,下面放原始碼就行了。
設定引數:
Run as “run onhadoop”