hadoop flume 架構及監控的部署

1 Flume架構解釋

Flume概念

Flume是一個分散式 ，可靠的，和高可用的，海量的日誌聚合系統

支援在系統中定製各類的資料傳送方

用於收集資料

提供簡單的資料提取能力

並寫入到各種接受方

Flume 特點

1 可靠性

當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。Flume提供了三種級別 的可靠性保障，所有的資料以event為單位傳輸，從強到弱依次分別為：end-to-end（

收到資料agent首先將event寫到磁碟上，當資料傳送成功後，再刪除；如果資料傳送失敗， 可以重新發送。），Store on failure（這也是

2可擴充套件性

Flume採用了三層架構，分別為agent，collector和storage，每一層均可以水平擴充套件。其中，所有agent和collector由master統一管理，這使得系統容易監控和維護，且master允許有多個（使用ZooKeeper進行管理和負載均衡），這就避免了單點故障問題。

3 可管理性

所有agent和colletor由master統一管理，這使得系統便於維護。多master情況，Flume利用ZooKeeper和

Flume ng 的架構

Flume NG核心概念
Flume的架構主要有一下幾個核心概念：
1、Event：一個數據單元，帶有一個可選的訊息頭。
2、Flow：Event從源點到達目的點的遷移的抽象。
3、Client：操作位於源點處的Event，將其傳送到Flume Agent。
4、Agent：一個獨立的Flume程序，包含元件Source、Channel

2監控

修改檔案
/usr/hdp/2*/flume/config
flume.env檔案

1監控的配置檔案

2建立對應的目錄及修改許可權

Mkdir ****

3啟動監控

4向監控目錄執行操作