作者介紹 

程超，易寶支付架構師，10年JAVA工作經驗，擅長分散式和大資料技術領域，目前主要從事金融支付類方效能分析向。

Flume是一個分散式、可靠、和高可用的海量日誌聚合的系統，支援在系統中定製各類資料傳送方，用於收集資料；同時，Flume提供對資料進行簡單處理，並寫到各種資料接受方（可定製）的能力。

設計目標：

(1) 可靠性

當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。Flume提供了三種級別的可靠性保障，從強到弱依次分別為：end-to-end（收到資料agent首先將event寫到磁碟上，當資料傳送成功後，再刪除；如果資料傳送失敗，可以重新發送。），Store on failure（這也是scribe採用的策略，當資料接收方crash時，將資料寫到本地，待恢復後，繼續傳送），Best effort（資料傳送到接收方後，不會進行確認）。

(2) 可擴充套件性

Flume採用了三層架構，分別為agent，collector和storage，每一層均可以水平擴充套件。其中，所有agent和collector由master統一管理，這使得系統容易監控和維護，且master允許有多個（使用ZooKeeper進行管理和負載均衡），這就避免了單點故障問題。

(3) 可管理性

所有agent和colletor由master統一管理，這使得系統便於維護。多master情況，Flume利用ZooKeeper和gossip，保證動態配置資料的一致性。使用者可以在master上檢視各個資料來源或者資料流執行情況，且可以對各個資料來源配置和動態載入。Flume提供了web 和shell script command兩種形式對資料流進行管理。

(4) 功能可擴充套件性

使用者可以根據需要新增自己的agent，collector或者storage。此外，Flume自帶了很多元件，包括各種agent（file， syslog等），collector和storage（file，HDFS等）。

注意：

1. 源將事件寫到一個多或者多個通道中。

2. 接收器只從一個通道接收事件。

3. 代理可能會有多個源、通道與接收器。

安裝包內容如下：

配置檔案

• 常用配置模式一

掃描指定檔案

• 常用配置模式二

• 常用配置模式三

我們今天重點使用第一種模式，因為要與Kafka相結合。

配置好引數以後，回到如下目錄：

使用如下命令啟動Flume：

 ./bin/flume-ng agent -n agent -c conf -f conf/hw.conf -Dflume.root.logger=INFO,console

最後一行顯示Component type:SINK,name:k1 started表示啟動成功。

在啟動Flume之前，Zookeeper和Kafka要先啟動成功，不然啟動Flume會報連不上Kafka的錯誤。

1、使用./zkServer.sh start啟動zookeeper。

3、使用Kafka預設提供的Consumer來接收訊息

4、編寫簡單Shell指令碼output.sh，並修改許可權為可執行許可權

迴圈向abc.log檔案插入test文字訊息。

5、執行output.sh。

整個過程流程如下：

至此簡單的使用介紹已經講完，關於Flume還有非常多的屬性和配置技巧需要我們去挖掘，我們以此文章作為開篇為的是為以後原始碼分析作為鋪墊。

向原作者表示感謝！！！