OG：“Original Generation”

  0.9.x或cdh3以及更早版本

  由agent、collector、master等元件構成

 NG：“Next/New Generation”

 1.x或cdh4以及之後的版本

 由Agent、Client等元件構成

為什麼要推出NG版本

 精簡程式碼

 架構簡化

Agent

 用於採集資料

 資料流產生的地方

 通常由source和sink兩部分組成

 Source用於獲取資料，可從文字檔案，syslog，HTTP等獲取資料；

 Sink將Source獲得的資料進一步傳輸給後面的Collector。

 Flume自帶了很多source和sink實現

 syslogTcp(5440) | agentSink("localhost",35856)

 tail("/etc/service_files") | agentSink("localhost",35856)

Collector

彙總多個Agent結果

 將彙總結果匯入後端儲存系統，比如HDFS，HBase

 Flume自帶了很多collector實現

 collectorSource(35856) | console

 CollectorSource(35856) | collectorSink("file:///tmp/flume/collected", "syslog");

 collectorSource(35856) | collectorSink("hdfs://namenode/user/flume/ ","syslog");

Agent與Collector對應關係

 可手動指定，也可自動匹配

 自動匹配的情況下，master會平衡collector之間的負載。

問題：為什麼引入Collector？

 對Agent資料進行彙總，避免產生過多小檔案；

 避免多個agent連線對Hadoop造成過大壓力 ；

 中介軟體，遮蔽agent和hadoop間的異構性。

Master

 管理協調 agent 和collector的配置資訊；

 Flume叢集的控制器；

 跟蹤資料流的最後確認資訊，並通知agent；

 通常需配置多個master以防止單點故障；

 藉助zookeeper管理管理多Master。

三種可靠性級別

 agentE2ESink[("machine"[,port])]

 gent收到確認訊息才認為資料傳送成功，否則重試.

 agentDFOSink[("machine"[,port])]

當agent發現在collector操作失敗的時候，agent寫入到本地硬碟上，當collctor恢復後，再重新發送資料。

 agentBESink[("machine"[,port])]

效率最好，agent不寫入到本地任何資料，如果在collector 發現處理失敗，直接刪除訊息。

1. Agent和Collector均可以動態配置

2. 可通過命令列或Web介面配置

3. 命令列配置

 在已經啟動的master節點上，依次輸入”flume shell”è”connect localhost ”

如執行 exec config a1 ‘tailDir(“/data/logfile”)’ ‘agentSink’

4. Web介面

  選中節點，填寫source、sink等資訊

agentA : tail(“/ngnix/logs”) | agentSink("collector",35856);

agentB : tail(“/ngnix/logs”) | agentSink("collector",35856);

agentC : tail(“/ngnix/logs”) | agentSink("collector",35856);

agentD : tail(“/ngnix/logs”) | agentSink("collector",35856);

agentE : tail(“/ngnix/logs”) | agentSink("collector",35856);

agentF : tail(“/ngnix/logs”) | agentSink("collector",35856);

collector : collectorSource(35856) | collectorSink("hdfs://namenode/flume/","srcdata");

agentA : src | agentE2ESink("collectorA",35856);

agentB : src | agentE2ESink("collectorA",35856);

agentC : src | agentE2ESink("collectorB",35856);

agentD : src | agentE2ESink("collectorB",35856);

agentE : src | agentE2ESink("collectorC",35856);

agentF : src | agentE2ESink("collectorC",35856);

collectorA : collectorSource(35856) | collectorSink("hdfs://...","src");

collectorB : collectorSource(35856) | collectorSink("hdfs://...","src");

collectorC : collectorSource(35856) | collectorSink("hdfs://...","src");

agentA : src | agentE2EChain("collectorA:35856","collectorB:35856");

agentB : src | agentE2EChain("collectorA:35856","collectorC:35856");

agentC : src | agentE2EChain("collectorB:35856","collectorA:35853");

agentD : src | agentE2EChain("collectorB:35853","collectorC:35853");

agentE : src | agentE2EChain("collectorC:35853","collectorA:35853");

agentF : src | agentE2EChain("collectorC:35853","collectorB:35853");

collectorA : collectorSource(35853) | collectorSink("hdfs://...","src");

collectorB : collectorSource(35853) | collectorSink("hdfs://...","src");

collectorC : collectorSource(35853) | collectorSink("hdfs://...","src");

猜你喜歡

大資料和雲端計算技術週報（第56期）

加入技術討論群

《大資料和雲端計算技術》社群群人數已經3000+，歡迎大家加下面助手微信，拉大家進群，自由交流。

喜歡QQ群的，可以掃描下面二維碼：

歡迎大家通過二維碼打賞支援技術社群（英雄請留名，社群感謝您，打賞次數超過108+）：