1. 程式人生 > >windows下安裝hadoop

windows下安裝hadoop

oop NPU pan bin shuff 命名 req 2.7.6 節點管理

環境

windows7 64位

JDK環境已經配置好(測試的是jdk1.8.0_191)

下載Hadoop,地址 http://archive.apache.org/dist/hadoop/core/ 我選擇的版本是hadoop-2.7.6,進入如目錄後下載hadoop-2.7.6.tar.gz文件

技術分享圖片

下載完成後解壓文件,我解壓到D:\hadoop-2.7.6

技術分享圖片

配置環境變量

1.HADOOP_HOME的值為D:\hadoop-2.7.6

技術分享圖片

2.接著編輯環境變量path,加入%HADOOP_HOME%\bin;

修改hadoop配置文件

在創建“D:\hadoop-2.7.6”下創建workplace文件夾,然後在workplace裏面創建data,name,tmp文件夾

技術分享圖片

1.編輯“D:\hadoop-2.7.6\etc\hadoop”下的core-site.xml文件

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop-2.5.6/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</
name> <value>/D:/hadoop-2.5.6/workplace/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

2.編輯“D:\hadoop-2.7.6\etc\hadoop目錄下的mapred-site.xml

(沒有就將mapred-site.xml.template重命名為mapred-site.xml)文件

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

3.編輯“D:\hadoop-2.7.6\etc\hadoop”目錄下的hdfs-site.xml文件

<configuration>
    <!-- 這個參數設置為1,因為是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/hadoop-2.5.6/workplace/data</value>
    </property>
</configuration>

4.編輯“D:\hadoop-2.7.6\etc\hadoop”目錄下的yarn-site.xml文件

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5.編輯“D:\hadoop-2.7.6\etc\hadoop”目錄下的hadoop-env.cmd文件,將JAVA_HOME用 @rem註釋掉,編輯為JAVA_HOME的路徑(JDK安裝在C:\Program Files\Java\jdk1.8.0_191),然後保存;

@rem The java implementation to use.  Required.
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_191

替換文件

下載到的hadooponwindows-master.zip,(鏈接:https://pan.baidu.com/s/1AZEDLb6XijXHQrbZ4nzXpQ 密碼:jvf8)解壓,將bin目錄(包含以下.dll和.exe文件)文件替換原來hadoop目錄下的bin目錄

運行測試

1.運行cmd窗口,執行“hdfs namenode -format”; (如果失敗,有可能是環境變量沒有起作用,重啟一下就可以了)

技術分享圖片技術分享圖片

2.運行cmd窗口,切換到hadoop的sbin目錄,執行“start-all.cmd”,它將會啟動以下進程。

技術分享圖片技術分享圖片

技術分享圖片 技術分享圖片

輸入jps,可以查看運行的所有節點

技術分享圖片

1.創建輸入目錄

D:\hadoop-2.7.6\sbin>hadoop fs -mkdir hdfs://localhost:9000/user/

D:\hadoop-2.7.6\sbin>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

2.上傳數據到目錄,在D盤下創建file1.txt和file2.txt,在文件中隨意輸入內容

D:\hadoop-2.7.6\sbin>hadoop fs -put D:\file1.txt hdfs://localhost:9000/user/wcin
put

D:\hadoop-2.7.6\sbin>hadoop fs -put D:\file2.txt hdfs://localhost:9000/user/wcin
put

3.查看文件

D:\hadoop-2.7.6\sbin>hadoop fs -ls hdfs://localhost:9000/user/wcinput

技術分享圖片

hadoop自帶的web控制臺GUI

1.資源管理GUI:http://localhost:8088/;

技術分享圖片

2.節點管理GUI:http://localhost:50070/;

技術分享圖片

windows下安裝hadoop