1. 程式人生 > >Hadoop(一) Windows安裝

Hadoop(一) Windows安裝

一、下載hadoop

  • 解壓     

  • 關於winutils的下載
    還需要下載winutils.exe,需要對應的版本.地址,下載之後直接解壓,將bin目錄裡的內容直接覆蓋到hadoop的bin 。將其中的hadoop.dll在c:/windows/System32下也放一份。

二、配置hadoop

  • 首先配置環境變數 
    1.新建HADOOP_HOME變數     2.在path中新增  %HADOOP_HOME%\bin,
  • 配置hadoop檔案 
    所有的配置檔案都在D:\hadoop\etc\hadoop的目錄下,使用記事本開啟.

    • 檔案1:D:\hadoop\etc\hadoop\hadoop-env.cmd jdk路徑不要有空格

      set JAVA_HOME=D:\Java\jdk1.8
    • 檔案2:D:\hadoop\etc\hadoop\core-site.xml

        <configuration>
          <property>  
          <name>fs.default.name</name>  
          <value>hdfs://localhost:9000</value>  
         </property>     
        </configuration>
    • 檔案3:D:\hadoop\etc\hadoop\hdfs-site.xml

      <configuration
      >
      <property>   <name>dfs.replication</name>   <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop/data/dfs/namenode</value> </property> <property> <name>
      dfs.datanode.data.dir</name> <value>file:/hadoop/data/dfs/datanode</value> </property> </configuration>
    • 檔案4:D:\hadoop\etc\hadoop\mapred-site.xml mapred-site.xml是複製mapred-site.xml.template,去掉template

      <configuration>
          <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
          </property>
      </configuration>
    • 檔案5:D:\hadoop\etc\hadoop\yarn-site.xml 
      <configuration>
          <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
          </property>
          <property>
             <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
             <value>org.apache.hadoop.mapred.ShuffleHandler</value>
          </property>
      </configuration>

三、啟動hadoop

使用管理員執行cmd

hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //進入到sbin目錄下
start-dfs.cmd   //先啟動dfs  
start-yarn.cmd  //再啟動yarn  
//或者
//start-all.cmd //相當於以上的兩條命令

這裡寫圖片描述

啟動完成,在位址列輸入http://localhost:8088 
這裡寫圖片描述
在位址列輸入http://localhost:50070 
這裡寫圖片描述

正常訪問,安裝完成 。

配置好環境變數後,開啟cmd 輸入hadoop version 的時候出現以下錯誤:

Error: JAVA_HOME is incorrectly set.

Please update F:\hadoop\conf\hadoop-env.cmd

1.用路徑替代符

C:\PROGRA~1\Java\jdk1.8.0_91

PROGRA~1  ===== C:\Program Files 目錄的dos檔名模式下的縮寫
長於8個字元的檔名和資料夾名,都被簡化成前面6個有效字元,後面~1,有重名的就 ~2,~3,