目錄

• 一、Hadoop 介紹
  • 1、HDFS 介紹
  • 2、HDFS 組成
  • 3、MapReduce 介紹
  • 4、MapReduce 架構
    • JobTracker
    • TaskTracker
• 二、Hadoop的安裝
  • 1、下載安裝
  • 2、配置 Hadoop 環境變數
• 三、Hadoop 配置
  • 1、配置 hadoop-env.sh
  • 2、配置 yarn-env.sh
  • 3、配置 DN 白名單 slaves
  • 4、配置核心元件 core-site.xml
  • 5、配置檔案系統 hdfs-site.xml
  • 6、配置計算框架 mapred-site.xml
  • 7、配置計算框架 yarn-site.xml
  • 8、將配置檔案複製到其他服務節點
• 四、Hadoop 啟動
  • 1、格式化 HDFS(在NameNode01執行)
  • 2、重啟 Hadoop(在NameNode01執行)
• 五、檢查 Hadoop
  • 1、檢查JPS程序
  • 2、HDFS 的 WEB 介面
  • 3、YARN 的 WEB 介面
• 六、MapReduce的WordCount驗證
  • 1、上傳需要處理的檔案到 hdfs。
  • 2、進行 wordcount
  • 3、檢視結果
• 七、Hadoop 的使用

一、Hadoop 介紹

Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的資料提供了儲存，則MapReduce為海量的資料提供了計算。

1、HDFS 介紹

Hadoop實現了一個分散式檔案系統（Hadoop Distributed File System），簡稱HDFS。

HDFS有高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬體上；而且它提供高吞吐量（high throughput）來訪問應用程式的資料，適合那些有著超大資料集（large data set）的應用程式。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）檔案系統中的資料。

2、HDFS 組成

HDFS採用主從（Master/Slave）結構模型，一個HDFS叢集是由一個NameNode和若干個DataNode組成的。NameNode作為主伺服器，管理檔案系統名稱空間和客戶端對檔案的訪問操作。DataNode管理儲存的資料。HDFS支援檔案形式的資料。

從內部來看，檔案被分成若干個資料塊，這若干個資料塊存放在一組DataNode上。NameNode執行檔案系統的名稱空間，如開啟、關閉、重新命名檔案或目錄等，也負責資料塊到具體DataNode的對映。DataNode負責處理檔案系統客戶端的檔案讀寫，並在NameNode的統一排程下進行資料庫的建立、刪除和複製工作。NameNode是所有HDFS元資料的管理者，使用者資料永遠不會經過NameNode。

3、MapReduce 介紹

Hadoop MapReduce是google MapReduce 克隆版。

MapReduce是一種計算模型，用以進行大資料量的計算。其中Map對資料集上的獨立元素進行指定的操作，生成鍵-值對形式中間結果。Reduce則對中間結果中相同“鍵”的所有“值”進行規約，以得到最終結果。MapReduce這樣的功能劃分，非常適合在大量計算機組成的分散式並行環境裡進行資料處理。

4、MapReduce 架構

Hadoop MapReduce採用Master/Slave（M/S）架構，如下圖所示，主要包括以下元件：Client、JobTracker、TaskTracker和Task。

JobTracker

1. JobTracker叫作業跟蹤器，執行到主節點（Namenode）上的一個很重要的程序，是MapReduce體系的排程器。用於處理作業（使用者提交的程式碼）的後臺程式，決定有哪些檔案參與作業的處理，然後把作業切割成為一個個的小task，並把它們分配到所需要的資料所在的子節點。
2. Hadoop的原則就是就近執行，資料和程式要在同一個物理節點裡，資料在哪裡，程式就跑去哪裡執行。這個工作是JobTracker做的，監控task，還會重啟失敗的task（於不同的節點），每個叢集只有唯一一個JobTracker，類似單點的NameNode，位於Master節點

TaskTracker

1. TaskTracker叫任務跟蹤器，MapReduce體系的最後一個後臺程序，位於每個slave節點上，與datanode結合（程式碼與資料一起的原則），管理各自節點上的task（由jobtracker分配），
2. 每個節點只有一個tasktracker，但一個tasktracker可以啟動多個JVM，執行Map Task和Reduce Task；並與JobTracker互動，彙報任務狀態，
3. Map Task：解析每條資料記錄，傳遞給使用者編寫的map(),並執行，將輸出結果寫入本地磁碟(如果為map-only作業，直接寫入HDFS)。
4. Reducer Task：從Map Task的執行結果中，遠端讀取輸入資料，對資料進行排序，將資料按照分組傳遞給使用者編寫的reduce函式執行。

二、Hadoop的安裝

1、下載安裝

# 下載安裝包
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

# 解壓安裝包
tar xf hadoop-2.7.3.tar.gz && mv hadoop-2.7.3 /usr/local/hadoop

# 建立目錄
mkdir -p /home/hadoop/{name,data,log,journal}

2、配置 Hadoop 環境變數

建立檔案/etc/profile.d/hadoop.sh。

# HADOOP ENV
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使 Hadoop 環境變數生效。

source /etc/profile.d/hadoop.sh

三、Hadoop 配置

1、配置 hadoop-env.sh

編輯檔案/usr/local/hadoop/etc/hadoop/hadoop-env.sh，修改下面欄位。

export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/usr/local/hadoop

2、配置 yarn-env.sh

編輯檔案/usr/local/hadoop/etc/hadoop/yarn-env.sh，修改下面欄位。

export JAVA_HOME=/usr/java/default

3、配置 DN 白名單 slaves

編輯檔案/usr/local/hadoop/etc/hadoop/slaves

datanode01
datanode02
datanode03

4、配置核心元件 core-site.xml

編輯檔案/usr/local/hadoop/etc/hadoop/core-site.xml，修改為如下：

<configuration>       
        <!-- 指定hdfs的nameservice為cluster1 -->
        <property>
                <name>fs.default.name</name>
                <value>hdfs://cluster1:9000</value>
        </property>

        <!-- 指定hadoop臨時目錄 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/data</value>
        </property>

        <!-- 指定zookeeper地址 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>zk01:2181,zk02:2181,zk03:2181</value>
        </property>

        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>

        <!--設定hadoop的緩衝區大小為128MB-->
        <property>
                <name>io.file.buffer.size</name>
                <value>131702</value>
        </property>
</configuration>

5、配置檔案系統 hdfs-site.xml

編輯檔案/usr/local/hadoop/etc/hadoop/hdfs-site.xml，修改為如下：

<configuration>
        <!--NameNode儲存元資料的目錄 -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/hadoop/name</value>
        </property>

        <!--DataNode儲存資料塊的目錄-->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/home/hadoop/data</value>
        </property>

        <!--指定HDFS的副本數量-->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>

        <!--開啟HDFS的WEB管理介面功能-->
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>

        <!--指定HDFS的nameservice為cluster1，需要和core-site.xml中的保持一致 -->
        <property>
                <name>dfs.nameservices</name>
                <value>cluster1</value>
        </property>
</configuration>

6、配置計算框架 mapred-site.xml

編輯檔案/usr/local/hadoop/etc/hadoop/mapred-site.xml，修改為如下：

<configuration>
        <!-- 指定mr框架為yarn方式 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <!-- mapred做本地計算所使用的資料夾，可以配置多塊硬碟，逗號分隔 -->
        <property>
                <name>mapred.local.dir</name>
                <value>/home/hadoop/data</value>
        </property>

        <!-- 使用管理員身份，指定作業map的堆大小-->
        <property>
                <name>mapreduce.admin.map.child.java.opts</name>
                <value>-Xmx256m</value>
        </property>

        <!-- 使用管理員身份，指定作業reduce的堆大小-->
        <property>
                <name>mapreduce.admin.reduce.child.java.opts</name>
                <value>-Xmx4096m</value>
        </property>

        <!-- 每個TT子程序所使用的虛擬機器記憶體大小 -->
        <property>
                <name>mapred.child.java.opts</name>
                <value>-Xmx512m</value>
        </property>

        <!-- 設定引數防止超時，預設600000ms，即600s-->
        <property>
                <name>mapred.task.timeout</name>
                <value>1200000</value>
                <final>true</final>
        </property>

        <!-- 禁止訪問NN的主機名稱列表,指定要動態刪除的節點-->
        <property>
                <name>dfs.hosts.exclude</name>
                <value>slaves.exclude</value>
        </property>

        <!-- 禁止連線JT的TT列表，節點摘除是很有作用 -->
        <property>
                <name>mapred.hosts.exclude</name>
                <value>slaves.exclude</value>
        </property>
</configuration>

7、配置計算框架 yarn-site.xml

編輯檔案/usr/local/hadoop/etc/hadoop/yarn-site.xml，修改為如下：

<configuration>
        <!--RM的主機名 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>namenode01</value>
        </property>

        <!--RM對客戶端暴露的地址,客戶端通過該地址向RM提交應用程式、殺死應用程式等-->
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>${yarn.resourcemanager.hostname}:8032</value>
        </property>

        <!--RM對AM暴露的訪問地址,AM通過該地址向RM申請資源、釋放資源等-->
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>${yarn.resourcemanager.hostname}:8030</value>
        </property>

        <!--RM對外暴露的web http地址,使用者可通過該地址在瀏覽器中檢視叢集資訊-->
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>${yarn.resourcemanager.hostname}:8088</value>
        </property>

        <!--RM對NM暴露地址,NM通過該地址向RM彙報心跳、領取任務等-->
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>${yarn.resourcemanager.hostname}:8031</value>
        </property>

        <!--RM對管理員暴露的訪問地址,管理員通過該地址向RM傳送管理命令等-->
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>${yarn.resourcemanager.hostname}:8033</value>
        </property>

        <!--單個容器可申請的最小與最大記憶體，應用在執行申請記憶體時不能超過最大值，小於最小值則分配最小值-->
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>983040</value>
        </property>

        <!--啟用的資源排程器主類。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler-->
        <property>
                <name>yarn.resourcemanager.scheduler.class</name>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>${yarn.resourcemanager.hostname}:8031</value>
        </property>

        <!--RM對管理員暴露的訪問地址,管理員通過該地址向RM傳送管理命令等-->
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>${yarn.resourcemanager.hostname}:8033</value>
        </property>

        <!--單個容器可申請的最小與最大記憶體，應用在執行申請記憶體時不能超過最大值，小於最小值則分配最小值-->
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>8182</value>
        </property>

        <!--啟用的資源排程器主類。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler-->
        <property>
                <name>yarn.resourcemanager.scheduler.class</name>
                <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
        </property>

        <!--啟用日誌聚集功能 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>

                <name>yarn.resourcemanager.scheduler.class</name>
                <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
        </property>

        <!--單個容器可申請的最小/最大虛擬CPU個數。比如設定為1和4，則執行MapRedce作業時，每個Task最少可申請1個虛擬CPU，最多可申請4個虛擬CPU-->
        <property>
                <name>yarn.scheduler.maximum-allocation-vcores</name>
                <value>512</value>
        </property>

        <!--單個可申請的最小/最大記憶體資源量 -->
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>2048</value>
        </property>

        <!--啟用日誌聚集功能 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>

        <!-- 設定在HDFS上聚集的日誌最多儲存多長時間-->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>

        <!--NM執行的Container,總的可用虛擬CPU個數,預設值8-->
        <property>
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>12</value>
        </property>

        <!--NM執行的Container,可以分配到的實體記憶體,一旦設定,執行過程中不可動態修改,預設8192MB-->
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>8192</value>
        </property>

        <!--是否啟動一個執行緒檢查每個任務正使用的虛擬記憶體量，如果任務超出分配值，則直接將其殺掉，預設是true-->
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>

        <!--是否啟動一個執行緒檢查每個任務正使用的實體記憶體量，如果任務超出分配值，則直接將其殺掉，預設是true-->
        <property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                <value>false</value>
        </property>

        <!--每使用1MB實體記憶體，最多可用的虛擬記憶體數,預設值2.1-->
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>

        <!--一塊磁碟的最高使用率，當一塊磁碟的使用率超過該值時，則認為該盤為壞盤，不再使用該盤，預設是100，表示100%-->
        <property>
                <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
                <value>98.0</value>
        </property>

        <!--NM執行的附屬服務,需配置成mapreduce_shuffle,才可執行MapReduce程式-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
         </property>

        <!--為了能夠執行MapReduce程式，需要讓各個NodeManager在啟動時載入shuffle server-->
        <property>
                <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
</configuration>

8、將配置檔案複製到其他服務節點

cd /usr/local/hadoop/etc/hadoop
scp * datanode01:/usr/local/hadoop/etc/hadoop
scp * datanode02:/usr/local/hadoop/etc/hadoop
scp * datanode03:/usr/local/hadoop/etc/hadoop
chown -R hadoop:hadoop /usr/local/hadoop
chmod 755 /usr/local/hadoop/etc/hadoop

四、Hadoop 啟動

1、格式化 HDFS(在NameNode01執行)

hdfs namenode -format
hadoop-daemon.sh start namenode

2、重啟 Hadoop(在NameNode01執行)

stop-all.sh
start-all.sh

五、檢查 Hadoop

1、檢查JPS程序

[[email protected] ~]# jps
17419 NameNode
17780 ResourceManager
18152 Jps


[[email protected] ~]# jps
2227 DataNode
1292 QuorumPeerMain
2509 Jps
2334 NodeManager



[[email protected] ~]# jps
13940 QuorumPeerMain
18980 DataNode
19093 NodeManager
19743 Jps



[[email protected] ~]# jps
19238 DataNode
19350 NodeManager
14215 QuorumPeerMain
20014 Jps

2、HDFS 的 WEB 介面

訪問 http://192.168.1.200:50070/

3、YARN 的 WEB 介面

訪問 http://192.168.1.200:8088/

六、MapReduce的WordCount驗證

1、上傳需要處理的檔案到 hdfs。

[[email protected] ~]# hadoop fs -put /root/anaconda-ks.cfg /anaconda-ks.cfg

2、進行 wordcount

[[email protected] ~]# cd /usr/local/hadoop/share/hadoop/mapreduce/
[[email protected] mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /anaconda-ks.cfg /test

18/11/17 00:04:45 INFO client.RMProxy: Connecting to ResourceManager at namenode01/192.168.1.200:8032
18/11/17 00:04:45 INFO input.FileInputFormat: Total input paths to process : 1
18/11/17 00:04:45 INFO mapreduce.JobSubmitter: number of splits:1
18/11/17 00:04:45 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1541095016765_0004
18/11/17 00:04:46 INFO impl.YarnClientImpl: Submitted application application_1541095016765_0004
18/11/17 00:04:46 INFO mapreduce.Job: The url to track the job: http://namenode01:8088/proxy/application_1541095016765_0004/
18/11/17 00:04:46 INFO mapreduce.Job: Running job: job_1541095016765_0004
18/11/17 00:04:51 INFO mapreduce.Job: Job job_1541095016765_0004 running in uber mode : false
18/11/17 00:04:51 INFO mapreduce.Job:  map 0% reduce 0%
18/11/17 00:04:55 INFO mapreduce.Job:  map 100% reduce 0%
18/11/17 00:04:59 INFO mapreduce.Job:  map 100% reduce 100%
18/11/17 00:04:59 INFO mapreduce.Job: Job job_1541095016765_0004 completed successfully
18/11/17 00:04:59 INFO mapreduce.Job: Counters: 49
    File System Counters
        FILE: Number of bytes read=1222
        FILE: Number of bytes written=241621
        FILE: Number of read operations=0
        FILE: Number of large read operations=0
        FILE: Number of write operations=0
        HDFS: Number of bytes read=1023
        HDFS: Number of bytes written=941
        HDFS: Number of read operations=6
        HDFS: Number of large read operations=0
        HDFS: Number of write operations=2
    Job Counters 
        Launched map tasks=1
        Launched reduce tasks=1
        Data-local map tasks=1
        Total time spent by all maps in occupied slots (ms)=1758
        Total time spent by all reduces in occupied slots (ms)=2125
        Total time spent by all map tasks (ms)=1758
        Total time spent by all reduce tasks (ms)=2125
        Total vcore-milliseconds taken by all map tasks=1758
        Total vcore-milliseconds taken by all reduce tasks=2125
        Total megabyte-milliseconds taken by all map tasks=1800192
        Total megabyte-milliseconds taken by all reduce tasks=2176000
    Map-Reduce Framework
        Map input records=38
        Map output records=90
        Map output bytes=1274
        Map output materialized bytes=1222
        Input split bytes=101
        Combine input records=90
        Combine output records=69
        Reduce input groups=69
        Reduce shuffle bytes=1222
        Reduce input records=69
        Reduce output records=69
        Spilled Records=138
        Shuffled Maps =1
        Failed Shuffles=0
        Merged Map outputs=1
        GC time elapsed (ms)=99
        CPU time spent (ms)=970
        Physical memory (bytes) snapshot=473649152
        Virtual memory (bytes) snapshot=4921606144
        Total committed heap usage (bytes)=441450496
    Shuffle Errors
        BAD_ID=0
        CONNECTION=0
        IO_ERROR=0
        WRONG_LENGTH=0
        WRONG_MAP=0
        WRONG_REDUCE=0
    File Input Format Counters 
        Bytes Read=922
    File Output Format Counters 
        Bytes Written=941

3、檢視結果

[[email protected] mapreduce]# hadoop fs -cat /test/part-r-00000
#   11
#version=DEVEL  1
$6$kRQ2y1nt/B6c6ETs$ITy0O/E9P5p0ePWlHJ7fRTqVrqGEQf7ZGi5IX2pCA7l25IdEThUNjxelq6wcD9SlSa1cGcqlJy2jjiV9/lMjg/  1
%addon  1
%end    2
%packages   1
--all   1
--boot-drive=sda    1
--bootproto=dhcp    1
--device=enp1s0 1
--disable   1
--drives=sda    1
--enable    1
--enableshadow  1
--hostname=localhost.localdomain    1
--initlabel 1
--ipv6=auto 1
--isUtc 1
--iscrypted 1
--location=mbr  1
--onboot=off    1
--only-use=sda  1
--passalgo=sha512   1
--reserve-mb='auto' 1
--type=lvm  1
--vckeymap=cn   1
--xlayouts='cn' 1
@^minimal   1
@core   1
Agent   1
Asia/Shanghai   1
CDROM   1
Keyboard    1
Network 1
Partition   1
Root    1
Run 1
Setup   1
System  4
Use 2
auth    1
authorization   1
autopart    1
boot    1
bootloader  2
cdrom   1
clearing    1
clearpart   1
com_redhat_kdump    1
configuration   1
first   1
firstboot   1
graphical   2
ignoredisk  1
information 3
install 1
installation    1
keyboard    1
lang    1
language    1
layouts 1
media   1
network 2
on  1
password    1
rootpw  1
the 1
timezone    2
zh_CN.UTF-8 1

七、Hadoop 的使用

檢視fs幫助命令： hadoop fs -help
檢視HDFS磁碟空間： hadoop fs -df -h
建立目錄： hadoop fs -mkdir
上傳本地檔案： hadoop fs -put
檢視檔案： hadoop fs -ls
檢視檔案內容： hadoop fs –cat
複製檔案： hadoop fs -cp
下載HDFS檔案到本地： hadoop fs -get
移動檔案： hadoop fs -mv
刪除檔案： hadoop fs -rm -r -f
刪除資料夾： hadoop fs -rm –r