1. 程式人生 > >教你Windows平臺安裝配置Hadoop2.5.2(不借助cygwin)

教你Windows平臺安裝配置Hadoop2.5.2(不借助cygwin)

剛入門hadoop,開發環境的搭建估計能把一部分人逼走。我也差點瘋了。
估計能看到這篇文章的小夥伴們都飽受cygwin各種配置檔案的折磨了吧?

如果你不想在linux上搭建,又不想安裝cygwin。那就繼續往下看啦~

一、 安裝hadoop2.5.2

下載hadoop2.5.2.tar.gz ,並解壓到你想要的目錄下,我放在D:\dev\hadoop-2.5.2
這裡寫圖片描述

二、配置hadoop環境變數

1.windows環境變數配置

右鍵單擊我的電腦 –>屬性 –>高階環境變數配置 –>高階選項卡 –>環境變數 –> 單擊新建HADOOP_HOME,如下圖
這裡寫圖片描述

2.接著編輯環境變數path,將hadoop的bin目錄加入到後面;

三、修改hadoop配置檔案

  1. 編輯“D:\dev\hadoop-2.5.2\etc\hadoop”下的core-site.xml檔案,將下列文字貼上進去,並儲存;
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/dev/hadoop-2.5.2/workplace/tmp</value>
    </property>
<property> <name>dfs.name.dir</name> <value>/D:/dev/hadoop-2.5.2/workplace/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration
>

2.編輯“D:\dev\hadoop-2.5.2\etc\hadoop”目錄下的mapred-site.xml(沒有就將mapred-site.xml.template重新命名為mapred-site.xml)檔案,貼上一下內容並儲存;

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

3.編輯“D:\dev\hadoop-2.5.2\etc\hadoop”目錄下的hdfs-site.xml檔案,貼上以下內容並儲存。請自行建立data目錄,在這裡我是在HADOOP_HOME目錄下建立了workplace/data目錄;

<configuration>
    <!-- 這個引數設定為1,因為是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/dev/hadoop-2.5.2/workplace/data</value>
    </property>
</configuration>

4.編輯“D:\dev\hadoop-2.5.2\etc\hadoop”目錄下的yarn-site.xml檔案,貼上以下內容並儲存;

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5.編輯“D:\dev\hadoop-2.5.2\etc\hadoop”目錄下的hadoop-env.cmd檔案,將JAVA_HOME用 @rem註釋掉,編輯為JAVA_HOME的路徑,然後儲存;

@rem set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=D:\java\jdk

四、替換檔案

下載到的hadooponwindows-master.zip,解壓,將bin目錄(包含以下.dll和.exe檔案)檔案替換原來hadoop目錄下的bin目錄;

五、執行環境

1.執行cmd視窗,執行“hdfs namenode -format”;
2.執行cmd視窗,切換到hadoop的sbin目錄,執行“start-all.cmd”,它將會啟動以下程序。

成功後,如圖:
這裡寫圖片描述

至此,hadoop服務已經搭建完畢。

接下來上傳測試,操作HDFS

根據你core-site.xml的配置,接下來你就可以通過:hdfs://localhost:9000來對hdfs進行操作了。

1.建立輸入目錄

C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/

C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

2.上傳資料到目錄

C:\WINDOWS\system32>hadoop fs -put D:\file1.txt hdfs://localhost:9000/user/wcinput

C:\WINDOWS\system32>hadoop fs -put D:\file2.txt hdfs://localhost:9000/user/wcinput

3.檢視檔案
這裡寫圖片描述

大功告成。

附錄:hadoop自帶的web控制檯GUI