1 解壓hadoop並配置相關環境變數

以hadoop使用者名稱解壓hadoop壓縮檔案

JAVA_HOME=/usr/java/jdk1.8.0_144

JRE_HOME=/usr/java/jdk1.8.0_144/jre

HADOOP_HOME=/home/hadoop/hadoop-2.9.0

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/etc/hadoop

export JAVA_HOME JRE_HOME CLASS_PATH HADOOP_HOME PATH

使用命令使配置生效:

source /etc/profile

2 修改hadoop-env.sh新增jdk環境

export JAVA_HOME=/usr/java/jdk1.8.0_144

hadoop有三種執行模式：

獨立(本地)模式：

無需執行任何守護程序，所有程式都在同一個JVM上執行，適合開發階段；

偽分佈模式：

hadoop守護程序執行在本地機器上，模擬一個小規模的叢集。

全分散式模式：

hadoop守護程序執行在一個叢集上。

核心配置引數：

1. 指定Hadoop的預設檔案為：hdfs            core-site.xml檔案中新增
2. 指定hdfs的namenode節點為哪臺機器   core-site.xml檔案中新增
3. 指定namenode儲存元資料的本地目錄   hdfs-site.xml檔案中新增
4. 指定DataNode存放檔案塊的本地目錄   hdfs-site.xml檔案中新增

3 修改core-site.xml檔案

hadoop core的配置項，如hdfs、MapReduce和YARN常用的I/O設定等；

<configuration>

<property>

<name>fs.defaultFS</name> #Hadoop預設訪問的檔案系統為hdfs

<value>hdfs://master:9000/</value>#指定的namenode的URI

</property>

執行hdfs需要將一臺機器指定為namenode，屬性fs.defaultFS描述hdfs檔案系統的uri，預設埠是8020.

<!–指定hadoop執行時產生檔案的儲存路徑–>

<property>

  <name>hadoop.tmp.dir</name>

  <value>/home/hadoop/hadoop-2.9.0/wutemp</value>

</property>

</configuration>

4 修改hdfs-site.xml檔案

hdfs-site.xml配置檔案：

hadoop守護程序的配置項，包括namenode、輔助namenode和datanode等；

<!--NameNode會持久儲存名稱空間和事務日誌-->

<configuration>

     <property>

       <name>dfs.namenode.name.dir</name>

       <value>/home/hadoop/hadoop-2.9.0/wudata/name</value>

     </property>

dfs.namenode.name.dir:

namenode儲存永久性的元資料的目錄列表。namenode在列表上的各個目錄中都存放相同的元資料檔案；

<property>

     <name>dfs.datanode.data.dir</name>

     <value>/home/hadoop/hadoop-2.9.0/wudata/data</value>

</property>

dfs.datanode.data.dir:

datanode存放資料塊的目錄列表。各個資料塊分別存放於某一個目錄中；

<property>

  <name>dfs.replication</name>

  <value>2</value>

</property>

dfs.replication:

設定檔案備份係數，預設3；

<property>

  <name>dfs.secondary.http.address</name>

  <value>slaveb:50090</value>

</property>

</configuration>

5 mapred-site.xml檔案

mapred-site.xml配置檔案：

MapReduce守護程序的配置項，包括作業歷史伺服器；

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

名稱mapreduce.framework.name:

指的是使用yarn執行mapreduce程式,啟動了HDFS之後，就可以啟動yarn了。執行命令start-yarn.sh即可啟動MapReduce叢集

6 yarn-site.xml檔案

Yarn守護程序的配置項，包括資源管理器、web應用代理伺服器和節點管理器；

<property>

  <name>yarn.resourcemanager.hostname</name>

  <value>master</value>

</property>

yarn.resourcemanager.hostname屬性：

執行資源管理器的機器主機名，預設值：0.0.0.0

<property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

</property>

yarn.nodemanager.aux-services屬性：

節點管理器執行的附加服務列表。NodeManager上執行的附屬服務。需配置成mapreduce_shuffle，才可執行MapReduce程式；預設情況下，不指定附加服務。

7 為yarn新增 客戶端計算機名稱

修改/home/hadoop/hadoop-2.9.0/etc/hadoop/slaves

slavea

slaveb

8 啟動hdfs檔案系統

首次使用hadoop前，必須格式化檔案系統，輸入如下命令：

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall開機啟動

hdfs namenode -format  #namenode的格式化，第一次執行前敲入命令

9 啟動守護程序

hadoop-daemon.sh start namenode

測試namenode程序情況：

jps

可以使用守護程序：

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

10 終止守護程序

mr-jobhistory-daemon.sh stop historyserver

stop-yarn.sh

stop-dfs.sh

11建立使用者目錄

hadoop fs -mkdir -P /usr/$USER