一般來說，hadoop叢集環境都是比較耗記憶體的，所以即使在虛擬機器上面，配置的每臺機器的記憶體至少不能小於50G，不然

後期測試會去進行一個擴容，所以就要求自己的電腦配置相對於比較高，這樣才能完成本地的一些大資料的測試。

因為hadoop都是比較耗記憶體的，所以需要注意以下2點：

1.NameNode和SecondaryNameNode不要安裝在同一臺伺服器

2.ResourceManager也很消耗記憶體，不要和NameNode、SecondaryNameNode配置在同一臺機器上。

我的虛擬機器的配置是這樣配置的：

從上面可以看出，每個虛擬機器的相同配置是都有NodeManager和DataNode，3個節點不同的地方是NameNode我是配置在第一臺虛擬機器上面，

ResourceManager配置在第二臺虛擬機器上面，SecondaryNameNode配置在第三臺虛擬機器上面，這樣就大大減少了單臺虛擬機器記憶體飆升的機率。

具體是怎麼配置的呢？先來看看叢集配置檔案介紹：

配置檔案說明

Hadoop配置檔案分兩類：預設配置檔案和自定義配置檔案，只有使用者想修改某一預設配置值時，才需要修改自定義配置檔案，更改相應屬性值。

（1）預設配置檔案：

（2）自定義配置檔案：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四個配置檔案存放在$HADOOP_HOME/etc/hadoop這個路徑上，使用者可以根據專案需求重新進行修改配置。

詳細配置步驟：

（1）核心配置檔案

配置core-site.xml

使用cd $HADOOP_HOME/etc/hadoop命令找到核心配置檔案：

在configuration標籤裡面增加如下內容：

<configuration>

    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Hadoop102:8020</value>
    </property>

    <!-- 指定hadoop資料的儲存目錄 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

   <!-- 配置HDFS網頁登入使用的靜態使用者為mischen -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>mischen</value>
    </property>
</configuration>

（2）HDFS配置檔案

配置hdfs-site.xml

使用vimhdfs-site.xml開啟HDFS的配置檔案：

同樣在configuration標籤裡面新增如下配置：

<configuration>

<!-- nn web端訪問地址-->
        <property>
        <name>dfs.namenode.http-address</name>
        <value>Hadoop102:9870</value>
    </property>
        <!-- 2nn web端訪問地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Hadoop104:9868</value>
    </property>
</configuration>

（3）YARN配置檔案

配置yarn-site.xml

vimyarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 環境變數的繼承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
<!-- 開啟日誌聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 設定日誌聚集伺服器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://Hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 設定日誌保留時間為7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

（4）MapReduce配置檔案

配置mapred-site.xml

vimmapred-site.xml

<configuration>

        <!-- 指定MapReduce程式執行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
<!-- 歷史伺服器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>Hadoop102:10020</value>
</property>

<!-- 歷史伺服器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>Hadoop102:19888</value>
</property>
</configuration>

至此，1個節點的hadoop就配置完成了，另外2個的叢集節點也需要做相應配置，叢集才算正式生效！