1. 程式人生 > 實用技巧 >Windows下Hadoop配置和namenode搭建

Windows下Hadoop配置和namenode搭建

1.壓縮包下載

這裡我是從Apache官網下載的 hadoop 壓縮包:hadoop2.7.5 (下載地址:https://hadoop.apache.org/releases.html

直接下載壓縮包解壓放到你的硬碟中即可(注意:不要放到有空格和中文的目錄下)

參考上圖即可。

2.配置Hadoop

(1)在我的電腦中配置 Hadoop 的環境變數:

  在系統變數中配置HADOOP_HOME

  在 Path 中配置下 bin 的位置,在末尾新建一行,加上下面這行:

%HADOOP_HOME%\bin

(2)在 hadoop 的hadoop-env.cmd 檔案中配置下本地 JDK 位置(參照下面即可)

  

(3)檢查下 Hadoop 是否成功配置好,在 Dos 視窗下 輸入 hadoop version 檢測即可

3.Hadoop 叢集配置

(1)修改 core-site.xml 檔案

<configuration>
    <property>       
        <name>fs.defaultFS</name>       
        <value>hdfs://localhost:9000</value>   
    </property>
</configuration>

(2)修改 mapred.site.xml 檔案(預設是 mapred.site.xml.template,直接改為 mapred.site.xml 即可)

<configuration>
    <property>       
        <name>mapreduce.framework.name</name>       
        <value>yarn</value>   
    </property>
</configuration>

(3)修改 hdfs-site.xml 檔案(對於需要的目錄需要自己提前建立好)

<configuration>
    <!-- 每個Block 的副本數-->
    <property>
        <name>dfs.replication</name>
        <value>1
</value> </property> <!-- 配置下NameNode存放的位置--> <property> <name>dfs.namenode.name.dir</name> <value>file:///..../hadoop2.7.5/data/dfs/nn/name</value> </property>   <!-- 配置下DataNode存放的位置-->   <property> <name>dfs.datanode.data.dir</name> <value>file:///.../hadoop2.7.5/data/dfs/dn/data</value> </property> </configuration>

(4)配置 yarn-site.xml 檔案

<configuration>
  <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

4.開始執行 Hadoop

(1)格式化下 NameNode

hadoop namenode -format

沒有報錯說明成功執行

(2)啟動叢集服務

start-all.cmd

結果會自動彈出四個視窗:hadoop namenode、hadoop datanode、yarn nodemanager、yarn resourcemanager。

我們也可以使用 jps 來檢視下(顯示出來的說明已經啟動成功):

16640 Launcher
9072 NameNode
15412 RemoteMavenServer
20196 DataNode
17432 NodeManager
5384 ResourceManager
20572 Jps

(3)停止服務可以使用

stop-all.cmd