教你Windows平臺安裝配置Hadoop2.5.2(不借助cygwin)
剛入門hadoop,開發環境的搭建估計能把一部分人逼走。我也差點瘋了。
估計能看到這篇文章的小夥伴們都飽受cygwin和各種配置檔案的折磨了吧?
如果你不想在linux上搭建,又不想安裝cygwin。那就繼續往下看啦~
一、 安裝hadoop2.5.2
下載hadoop2.5.2.tar.gz ,並解壓到你想要的目錄下,我放在D:\dev\hadoop-2.5.2
二、配置hadoop環境變數
1.windows環境變數配置
右鍵單擊我的電腦 –>屬性 –>高階環境變數配置 –>高階選項卡 –>環境變數 –> 單擊新建HADOOP_HOME,如下圖
2.接著編輯環境變數path,將hadoop的bin目錄加入到後面;
三、修改hadoop配置檔案
- 編輯“D:\dev\hadoop-2.5.2\etc\hadoop”下的core-site.xml檔案,將下列文字貼上進去,並儲存;
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/dev/hadoop-2.5.2/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/dev/hadoop-2.5.2/workplace/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration >
2.編輯“D:\dev\hadoop-2.5.2\etc\hadoop”目錄下的mapred-site.xml(沒有就將mapred-site.xml.template重新命名為mapred-site.xml)檔案,貼上一下內容並儲存;
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
3.編輯“D:\dev\hadoop-2.5.2\etc\hadoop”目錄下的hdfs-site.xml檔案,貼上以下內容並儲存。請自行建立data目錄,在這裡我是在HADOOP_HOME目錄下建立了workplace/data目錄;
<configuration>
<!-- 這個引數設定為1,因為是單機版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/dev/hadoop-2.5.2/workplace/data</value>
</property>
</configuration>
4.編輯“D:\dev\hadoop-2.5.2\etc\hadoop”目錄下的yarn-site.xml檔案,貼上以下內容並儲存;
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
5.編輯“D:\dev\hadoop-2.5.2\etc\hadoop”目錄下的hadoop-env.cmd檔案,將JAVA_HOME用 @rem註釋掉,編輯為JAVA_HOME的路徑,然後儲存;
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\java\jdk
四、替換檔案
下載到的hadooponwindows-master.zip,解壓,將bin目錄(包含以下.dll和.exe檔案)檔案替換原來hadoop目錄下的bin目錄;
五、執行環境
1.執行cmd視窗,執行“hdfs namenode -format”;
2.執行cmd視窗,切換到hadoop的sbin目錄,執行“start-all.cmd”,它將會啟動以下程序。
成功後,如圖:
至此,hadoop服務已經搭建完畢。
接下來上傳測試,操作HDFS
根據你core-site.xml的配置,接下來你就可以通過:hdfs://localhost:9000來對hdfs進行操作了。
1.建立輸入目錄
C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/
C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
2.上傳資料到目錄
C:\WINDOWS\system32>hadoop fs -put D:\file1.txt hdfs://localhost:9000/user/wcinput
C:\WINDOWS\system32>hadoop fs -put D:\file2.txt hdfs://localhost:9000/user/wcinput
3.檢視檔案
大功告成。