一、什麼是Flume?
　　flume 作為 cloudera 開發的實時日誌收集系統，受到了業界的認可與廣泛應用。Flume 初始的發行版本目前被統稱為 Flume OG（original generation），屬於 cloudera。但隨著 FLume 功能的擴充套件，Flume OG 程式碼工程臃腫、核心元件設計不合理、核心配置不標準等缺點暴露出來，尤其是在 Flume OG 的最後一個發行版本 0.94.0 中，日誌傳輸不穩定的現象尤為嚴重，為了解決這些問題，2011 年 10 月 22 號，cloudera 完成了 Flume-728，對 Flume 進行了里程碑式的改動：重構核心元件、核心配置以及程式碼架構，重構後的版本統稱為 Flume NG（next generation）；改動的另一原因是將 Flume 納入 apache 旗下，cloudera Flume 改名為 Apache Flume。
 
flume的特點：
　　flume是一個分散式、可靠、和高可用的海量日誌採集、聚合和傳輸的系統。支援在日誌系統中定製各類資料傳送方，用於收集資料;同時，Flume提供對資料進行簡單處理，並寫到各種資料接受方(比如文字、HDFS、Hbase等)的能力 。
　　flume的資料流由事件(Event)貫穿始終。事件是Flume的基本資料單位，它攜帶日誌資料(位元組陣列形式)並且攜帶有頭資訊，這些Event由Agent外部的Source生成，當Source捕獲事件後會進行特定的格式化，然後Source會把事件推入(單個或多個)Channel中。你可以把Channel看作是一個緩衝區，它將儲存事件直到Sink處理完該事件。Sink負責持久化日誌或者把事件推向另一個Source。
 
flume的可靠性
　　當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。Flume提供了三種級別的可靠性保障，從強到弱依次分別為：end-to-end（收到資料agent首先將event寫到磁碟上，當資料傳送成功後，再刪除；如果資料傳送失敗，可以重新發送。），Store on failure（這也是scribe採用的策略，當資料接收方crash時，將資料寫到本地，待恢復後，繼續傳送），Besteffort（資料傳送到接收方後，不會進行確認）。
 
flume的可恢復性：
　　還是靠Channel。推薦使用FileChannel，事件持久化在本地檔案系統裡(效能較差)。
 
　　flume的一些核心概念：
Agent使用JVM 執行Flume。每臺機器執行一個agent，但是可以在一個agent中包含多個sources和sinks。
Client生產資料，執行在一個獨立的執行緒。
Source從Client收集資料，傳遞給Channel。
Sink從Channel收集資料，執行在一個獨立執行緒。
Channel連線 sources 和 sinks ，這個有點像一個佇列。
Events可以是日誌記錄、 avro 物件等。
 
　　Flume以agent為最小的獨立執行單位。一個agent就是一個JVM。單agent由Source、Sink和Channel三大元件構成，如下圖：

　　值得注意的是，Flume提供了大量內建的Source、Channel和Sink型別。不同型別的Source,Channel和Sink可以自由組合。組合方式基於使用者設定的配置檔案，非常靈活。比如：Channel可以把事件暫存在記憶體裡，也可以持久化到本地硬碟上。Sink可以把日誌寫入HDFS, HBase，甚至是另外一個Source等等。Flume支援使用者建立多級流，也就是說，多個agent可以協同工作，並且支援Fan-in、Fan-out、Contextual Routing、Backup Routes，這也正是NB之處。如下圖所示:

　　三、在哪裡下載？

　　四、如何安裝？
　　　　1)將下載的flume包，解壓到/home/hadoop目錄中，你就已經完成了50%：）簡單吧

　　　　2)修改 flume-env.sh 配置檔案,主要是JAVA_HOME變數設定

　　　　3)驗證是否安裝成功

　　　　出現上面的資訊，表示安裝成功了
 
 
　　五、flume的案例
　　　　1)案例1：Avro
　　　　Avro可以傳送一個給定的檔案給Flume，Avro 源使用AVRO RPC機制。
　　　　　　a)建立agent配置檔案

　　　　　　b)啟動flume agent a1

　　　　　　c)建立指定檔案

　　　　　　d)使用avro-client傳送檔案

　　　　　　f)在m1的控制檯，可以看到以下資訊，注意最後一行：

　　　　2)案例2：Spool
　　　　Spool監測配置的目錄下新增的檔案，並將檔案中的資料讀取出來。需要注意兩點：
　　　　1) 拷貝到spool目錄下的檔案不可以再開啟編輯。
　　　　2) spool目錄下不可包含相應的子目錄
　　　　　　a)建立agent配置檔案

　　　　　　b)啟動flume agent a1

　　　　　　c)追加檔案到/home/hadoop/flume-1.5.0-bin/logs目錄

　　　　　　d)在m1的控制檯，可以看到以下相關資訊：

　　　　3)案例3：Exec
　　　　EXEC執行一個給定的命令獲得輸出的源,如果要使用tail命令，必選使得file足夠大才能看到輸出內容
　　　　　　a)建立agent配置檔案

　　　　　　b)啟動flume agent a1

　　　　　　c)生成足夠多的內容在檔案裡

　　　　　　e)在m1的控制檯，可以看到以下資訊：

　　　　4)案例4：Syslogtcp
　　　　Syslogtcp監聽TCP的埠做為資料來源
　　　　　　a)建立agent配置檔案

　　　　　　b)啟動flume agent a1

　　　　　　c)測試產生syslog

　　　　　　d)在m1的控制檯，可以看到以下資訊：

　　　　5)案例5：JSONHandler
　　　　　　a)建立agent配置檔案

　　　　　　b)啟動flume agent a1

　　　　　　c)生成JSON 格式的POST request

　　　　　　d)在m1的控制檯，可以看到以下資訊：
/

　　　　6)案例6：Hadoop sink
　　　　其中關於hadoop2.2.0部分的安裝部署，請參考文章《ubuntu12.04+hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1分散式環境部署》
　　　　　　a)建立agent配置檔案