1. 程式人生 > >Hadoop windows本地環境安裝

Hadoop windows本地環境安裝

hadoop使用java編寫,所以windows安裝和java一樣也需要配置環境變數。

一、下載所需檔案

  1. JDK下載地址,jdk1.8下載
  2. Hadoop下載,hadoop下載,進去後找到一個版本然後點選 Binary download 下載到本地。
  3. Hadoop windows環境編譯工具,winutils下載 ,下載後解壓出來

 二、安裝檔案

  1.  jdk安裝,jdk安裝並不複雜,這裡就不詳細介紹了,我的安裝目錄是 C:\Program Files\Java\jdk1.8.0_151
  2. hadoop安裝,由於下載的hadoop檔案是不用安裝的,我們只需要解壓出來就可以了 解壓目錄 D:\hadoop\hadoop-3.1.1

 

三、環境變數配置

 

 

 

  1. jdk環境變數配置,網上很多這裡也就不詳細說了
  2. Hadoop環境變數安裝,環境變數和java的安裝方式一樣

 

 先新建一個HADOOP_HOME,裡面變數值為 D:\hadoop\hadoop-3.1.1

然後在Path變數值後面追加 %HADOOP_HOME%\bin; ,至此hadoop的環境變數就配置完了。

四、配置hadoop檔案

  1. 進入hadoop目錄下面的etc D:\hadoop\hadoop-3.1.1\etc\hadoop 找到 core-site.xml檔案並使用編輯器開啟,複製下面內容進去
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop/workspace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop/workspace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
  1.  在找到 mapred-site.xml 檔案並開啟,複製下面內容進去
<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>
  1.  找到 hdfs-site.xml 檔案並開啟,複製下面內容進去
<configuration>
    <!-- 這個引數設定為1,因為是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/hadoop/workspace/data</value>
    </property>
</configuration>
  1. 找到 yarn-site.xml 檔案並開啟,複製下面內容進去
<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
  1. 找到 hadoop-env.cmd 檔案並開啟,將JAVA_HOME用 @rem註釋掉,編輯為JAVA_HOME的路徑,然後儲存。
    @rem set JAVA_HOME=%JAVA_HOME%
    set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_151

注意這裡會有個錯誤,由於我jdk安裝在C盤的 program files目錄下,這個資料夾有個空格,後面會報錯

所以這裡我們修改成 ,使用 PROGRA~1 代替

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_151

五、替換檔案

解壓我們之前下載的 winutils-master 檔案,找到符合自己的版本,我這裡找的是 D:\hadoop\winutils-master\hadoop-3.0.0 進入資料夾拷貝整個bin檔案替換掉 hadoop的bin資料夾,即 D:\hadoop\hadoop-3.1.1 下面的bin

六、執行

1.執行cmd視窗,執行hdfs namenode -format。

 2.執行cmd視窗,切換到hadoop的sbin目錄,執行start-all.cmd,它將會啟動以下4個程序視窗。

 

七、上傳測試

根據你core-site.xml的配置,接下來你就可以通過:hdfs://localhost:9000 來對hdfs進行操作了。

1.建立輸入目錄

輸入命令,hadoop fs -mkdir hdfs://localhost:9000/user

hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/
 
C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

2.上傳資料到目錄

輸入命令, hadoop fs -put D:\personal\debug.log hdfs://localhost:9000/user/wcinput
 hadoop fs -put D:\personal\waz.txt hdfs://localhost:9000/user/wcinput

C:\WINDOWS\system32>hadoop fs -put D:\personal\debug.log hdfs://localhost:9000/user/wcinput
 
C:\WINDOWS\system32>hadoop fs -put D:\personal\waz.txt hdfs://localhost:9000/user/wcinput

3.檢視檔案

輸入命令,hadoop fs -ls hdfs://localhost:9000/user

QA常見問題:

    1:啟動hadoop可能提示找不到JAVA_HOME路徑,是因為hadoop讀取JAVA_HOME環境變數存在空格導致。

    2:啟動hadoop提示找不到HADOOP,是因為Hadoop環境變數沒有配置好,請檢查Hadoop環境變數配置。

hadoop自帶的web控制檯GUI

1.資源管理GUI:http://localhost:8088/; 

2.節點管理GUI:http://localhost:50070/