Flume(2)-拓撲結構與Agent內部原理
阿新 • • 發佈:2019-01-02
一. 拓撲結構
1. 序列模式
這種模式是將多個flume給順序連線起來了,從最初的source開始到最終sink傳送的目的儲存系統。此模式不建議橋接過多的flume數量, flume數量過多不僅會影響傳輸速率,而且一旦傳輸過程中某個節點flume宕機,會影響整個傳輸系統。
2. 單Source多Channel,Sink模式(複製模式)
Flume支援將事件流向一個或者多個目的地。這種模式將資料來源複製到多個channel中,每個channel都有相同的資料,sink可以選擇傳送的不同的目的地。
3. 單Source,Channel多Sink模式(負載均衡)
Flume支援使用將多個sink邏輯上分到一個sink組,flume將資料傳送到不同的sink,主要解決負載均衡和故障轉移問題。
4. 聚合模式
這種模式是我們最常見的,也非常實用,日常web應用通常分佈在上百個伺服器,大者甚至上千個、上萬個伺服器。產生的日誌,處理起來也非常麻煩。
用flume的這種組合方式能很好的解決這一問題,每臺伺服器部署一個flume採集日誌,傳送到一個集中收集日誌的flume,再由此flume上傳到hdfs、hive、hbase、jms等,進行日誌分析。
二. Agent內部原理