第一步:前期需要準備的材料:

①  下載hadoop-2.7.6安裝包

②  下載hadoop在windows環境下支援包hadoopwindows-master.

③  下載hadoop的hadoop.dll和winutils.exe

④  下載JDK(本人用的1.7)

第二步:安裝jdk並配置jdk環境變數(比較簡單,可參考百度文庫)

第三步:安裝包及環境變數配置

         ①解壓hadoop-2.7.6安裝包到本地路徑

         ②將hadoop.dll和winutils.exe兩個檔案放入到/Hadoop-2.7.6/bin目錄下

③配置hadoop環境變數:

⑤  新增path屬性,將;%HADOOP_HOME%\bin;新增到path環境變數中。

⑥  驗證hadoop環境,在windows控制檯輸入: hadoop version 結果如下圖:

第四步:修改hadoop配置檔案

           ①找到hadoop-2.7.6\hadoop-2.7.6\etc\hadoop\core-site.xml並做如下的內容修改:

<configuration>
         <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
         <property>
       <name>hadoop.tmp.dir</name>
       <value>/D:\hadoop-2.7.6\data\tmpdir</value>
   </property>
         <property>
       <name>dfs.name.dir</name>
       <value>/D:\hadoop-2.7.6\data\dfsdir
                   </value>
   </property>
</configuration>
 

之後建立相應的目錄(要和上圖中的value一致),即D:\hadoop-2.7.6\data\tmpdir和D:\hadoop-2.7.6\data\dfsdir如下圖所示:

②在目錄D:\hadoop-2.7.6\etc\hadoop下找mapred-site.xml(如果不存在,就將mapred-site.xml.template修改為mapred-site.xml)並作如下修改:

<configuration>
         <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
         <property>
      <name>mapred.job.tracker</name>
      <value>hdfs://localhost:9001</value>
   </property>
</configuration>
 

③在目錄D:\hadoop-2.7.6\etc\hadoop下找到yarn-site.xml並作如下修改:

<property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
   <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

④在D:\hadoop-2.7.6\etc\hadoop目錄下找到hadoop-env.cmd做如下修改,(這裡的D:\PROGRA~2\Java\jdk1.7.0_71其實和D:\Program Files\Java\jdk1.7.0_71 是等價的,但是路徑中不能出現空格,不然後面可能出現問題)

⑤在D:\hadoop-2.7.6\etc\hadoop路徑下找到hdfs-site.xml檔案,並作如下修改:

<configuration>
 <property>
       <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:\hadoop-2.7.6\data\namenode</value>
    </property>
         <property>
       <name>dfs.datanode.data.dir</name>
        <value>/D:\hadoop-2.7.6\data\datanode</value>
    </property>
</configuration>

之後再建立相應的路徑(和value一致),如圖:

第五步:

①將hadooponwindows-master放到hadoop-2.7.6目錄下,

②並修改/hadooponwindows-master/etc/hadoop/hadoop-env.cmd檔案,具體和之前hadoop-env.cmd檔案一樣修改.

③將hadoop-2.7.6目錄下的bin資料夾複製並覆蓋掉/hadooponwindows-master/bin資料夾.

第六步:測試是否搭建成功

①  在windows控制檯輸入: hadoop namenode –format  [注意儘量不要重複操作,因為重複操作會影響後續hive的測試,當然重複也沒關係,後續需要多餘操作來解決問題]

②  在windows控制檯進入到D:/hadoop-2.7.6/sbin目錄下執行: start-all 指令啟動hadoop環境.[結果如圖,會彈出其他四個控制檯輸入框,應該就成功了]