Hadoop概述：Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。使用者可以在不瞭解分散式底層細節的情況下，開發分散式程式。充分利用叢集的威力進行高速運算和儲存。

Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS分散式檔案系統為海量的資料提供了儲存，則MapReduce為海量的資料提供了計算。

網方網站：http://hadoop.apache.org/

廢話不多說，下面開始搭建

一、實驗環境 準備
安裝前，3臺虛擬機器IP及機器名稱如下：
主機名          IP地址             角色
ha146.cn   192.168.1.146    NameNode 
ha147.cn   192.168.1.147    DataNode1 
ha120.cn   192.168.1.120    DataNode2

  因為是本地搭建所以直接關閉三臺機器防火牆
  systemctl stop firewalld.service
  systemctl disable firewalld.service
（1）三臺機器上配置hosts檔案，（三臺都配置）

        vim  /etc/hosts 新增

        192.168.1.146   ha146.cn
        192.168.1.147   ha147.cn
        192.168.1.120   ha120.cn

（2）建立執行hadoop使用者賬號和Hadoop目錄（3臺都建立）

          useradd -u 8000

          echo 123456 | passwd --stdin hadoop  #設定密碼

（3）給hadoop賬戶增加sudo許可權

          vim /etc/sudoers

         新增  hadoop  ALL=(ALL)       ALL

  ：wq！強制儲存

（4）配置Hadoop環境，安裝Java環境JDK：三臺機器上都要配置

我用的是原始碼安裝 jdk1.8.0_131 。也可以yum安裝 。

官方地址： http://www.oracle.com/technetwork/java/javase/downloads/index.htm
JDK下載地址   https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

 tar xvf jdk-linux-x64.tar.gz -C /usr/local/

配置環境變數   vim /etc/profile

 JAVA_HOME=/usr/local/jdk1.8.0_131
 PATH=$JAVA_HOME/bin:$PATH
 CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
 export   PATH  JAVA_HOME CLASSPATH

   source /etc/profile

    java -version 檢視是否配置成功

（4）配置ssh無密碼登入

在146伺服器上  切換到hadoop使用者   su - hadoop

ssh-keygen

[[email protected] ~]$ ssh-copy-id 192.168.1.147

[[email protected] ~]$ ssh-copy-id 192.168.1.120

測試 ssh 192.168.1.147  如果直接登入，不需要密碼說明成功

  二、配置hadoop

在146上安裝Hadoop 並配置成namenode主節點
Hadoop安裝目錄：/home/hadoop/hadoop-3.0.0

使用root帳號將hadoop-3.0.0.tar.gz  上傳到伺服器 可以去官網下載http://hadoop.apache.org/  我的是3.0

上傳到hadoop的家目錄 切換到hadoop解壓  只要解壓檔案就可以，不需要編譯安裝

 tar xvf  hadoop-3.0.0.tar.gz

建立hadoop相關的工作目錄（每臺機上都要建立目錄）

mkdir -p /home/hadoop/dfs/name /home/hadoop/dfs/data /home/hadoop/tmp#每臺機上都要建立目錄

sudo chown -R hadoop:hadoop /home/hadoop/*   # 確定每個目錄下的所屬都是hadoop 每臺機都要執行

配置Hadoop：需要修改7個配置檔案。進入配置檔案   cd hadoop-3.0.0/etc/hadoop/ 

檔名稱：hadoop-env.sh、yarn-evn.sh、workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

1、 vim hadoop-env.sh     （指定java執行環境變數）

          改：54 # export JAVA_HOME=

          為：export JAVA_HOME=/usr/local/jdk1.8.0_131/

2、vim yarn-env.sh 儲存yarn框架的執行環境

檢視優先規則: 23行

## Precedence rules:

##

## yarn-env.sh > hadoop-env.sh > hard-coded defaults

3、vim core-site.xml，指定訪問hadoop web介面訪問路徑

在19 20行新增

 <property>
      <name>fs.defaultFS</name>
          <value>hdfs://ha146.cn:9000</value>
 </property>
 <property>
     <name>io.file.buffer.size</name>
         <value>13107</value>
 </property>
 <property>
     <name>hadoop.tmp.dir</name>
         <value>file:/home/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
 </property>

io.file.buffer.size 的預設值 4096 。這是讀寫 sequence file 的 buffer size, 可減少 I/O 次數。在大型的 Hadoop cluster，建議可設定為 65536

4、vim hdfs-site.xmldfs.http.address配置了hdfs的http的訪問位置；dfs.replication配置了檔案塊的副本數，一般不大於從                機的個數。

還是19 20行 新增

  <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>ha146.cn:9001</value>  
  </property>

  <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/home/hadoop/dfs/name</value>
  </property>
 <property>
    <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/dfs/data</value>
 </property>

 <property>
    <name>dfs.replication</name>
    <value>2</value>    
 </property>

 <property>
    <name>dfs.webhdfs.enabled</name>
        <value>true</value>
 </property>

注：

<property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>ha146.cn:9001</value>   # 通過web介面來檢視HDFS狀態

  </property>

 <property>

    <name>dfs.replication</name>

    <value>2</value>    #每個Block有2個備份。

 </property>

5、vim mapred-site.xml  這個是mapreduce任務的配置，由於hadoop2.x使用了yarn框架，所以要實現分散式部署，必須在mapreduce.framework.name屬性下配置為yarn。mapred.map.tasks和mapred.reduce.tasks分別為map和reduce的任務數，同時指定：Hadoop的歷史伺服器historyserver  Hadoop自帶了一個歷史伺服器，可以通過歷史伺服器檢視已經執行完的Mapreduce作業記錄，比如用了多少個Map、用了多少個Reduce、作業提交時間、作業啟動時間、作業完成時間等資訊。預設情況下，Hadoop歷史伺服器是沒有啟動的，我們可以通過下面的命令來啟動Hadoop歷史伺服器

$ /home/hadoop/hadoop-3.0.0/sbin/mr-jobhistory-daemon.sh  start historyserver

historyserverWARNING: Use of this script to start the MR JobHistory daemon is deprecated.

WARNING: Attempting to execute replacement "mapred --daemon start" instead.

WARNING: /home/hadoop/hadoop-3.0.0/logs does not exist. Creating.

這樣我們就可以在相應機器的19888埠上開啟歷史伺服器的WEB UI介面。可以檢視已經執行完的作業情況。

還是19 20行 

 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
 </property>

 <property>
     <name>mapreduce.jobhistory.address</name>
     <value>0.0.0.0:10020</value>
 </property>

 <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>0.0.0.0:19888</value>
 </property>

6、vim yarn-site.xml  該檔案為yarn框架的配置,主要是一些任務的啟動位置

同樣還是在<configuration></configuration> 之間新增

 <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>

 <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>

 <property>
    <name>yarn.resourcemanager.address</name>
    <value>ha146.cn:8032</value>
 </property>

 <property>
     <name>yarn.resourcemanager.scheduler.address</name>
         <value>ha146.cn:8030</value>
 </property>

 <property>
     <name>yarn.resourcemanager.resource-tracker.address</name>
     <value>ha146.cn:8031</value>
 </property>

 <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>ha146.cn:8033</value>
 </property>

 <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>ha146.cn:8088</value>
 </property>
<property>
<name>yarn.application.classpath</name>
<value>/home/hadoop/hadoop-3.0.0/etc/hadoop:/home/hadoop/hadoop-3.0.0/share/hadoop/common/lib/*:/home/hadoop/hadoop-3.0.0/share/hadoop/common/*:/home/hadoop/hadoop-3.0.0/share/hadoop/hdfs:/home/hadoop/hadoop-3.0.0/share/hadoop/hdfs/lib/*:/home/hadoop/hadoop-3.0.0/share/hadoop/hdfs/*:/home/hadoop/hadoop-3.0.0/share/hadoop/mapreduce/*:/home/hadoop/hadoop-3.0.0/share/hadoop/yarn:/home/hadoop/hadoop-3.0.0/share/hadoop/yarn/lib/*:/home/hadoop/hadoop-3.0.0/share/hadoop/yarn/* </value>
</property>

注意classpath下面只有一行沒有回車

7、vim workers  編輯datanode節點host

ha147.cn
ha120.cn

三、複製配置初始化 啟動

上面是146主服務配置完了 需要將=剛剛配置的檔案複製到147和120伺服器上

 scp /home/hadoop/hadoop-3.0.0/etc/hadoop/* 192.168.1.147:/home/hadoop/hadoop-3.0.0/etc/hadoop/

scp /home/hadoop/hadoop-3.0.0/etc/hadoop/* 192.168.1.120:/home/hadoop/hadoop-3.0.0/etc/hadoop/

在146上初始化 Hadoop  hadoop namenode的初始化,只需要第一次的時候初始化，之後就不需要了

/home/hadoop/hadoop-3.0.0/bin/hdfs namenode -format

echo $?     看執行成功沒

tree /home/hadoop/dfs/

/home/hadoop/hadoop-3.0.0/sbin/start-dfs.sh  啟動

/home/hadoop/hadoop-3.0.0/sbin/stop-dfs.sh  關閉

/home/hadoop/hadoop-3.0.0/sbin/start-all.sh 啟動全部

新增環境變數 HADOOP_HOME

[[email protected]~]# vim /etc/profile  #新增追加以下內容：

 export HADOOP_HOME=/home/hadoop/hadoop-3.0.0

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 [[email protected]~]# source /etc/profile

 [[email protected]~]# start  #輸入start 按兩下tab鍵，測試命令補齊