1. 程式人生 > >使用flume進行日誌收集的總結(2)

使用flume進行日誌收集的總結(2)

Sinks groups 和 Sink Processors

Sink groups允許組織多個sink到一個實體上。 Sink processors能夠提供在組內所有Sink之間實現負載均衡的能力,而且在失敗的情況下能夠進行故障轉移從一個Sink到另一個Sink。

配置多個sink組成一個sinkgroup 並實現負載均衡


負載均衡(load balance)

      Load balancing sink processor 提供了多個sinks負載均衡的能力,它維護了一個active sinks列表,該列表中的負載是分散式的。預設實現了round_robin(輪詢排程) 或者 random(隨機) 的選擇機制,預設配置是:round_robin(輪詢排程),也可以通過繼承AbstractSinkSelector類來實現自定義的選擇機制。 當被呼叫時,選擇器根據配置檔案的選擇機制挑選下一個sink,並且呼叫該sink。如果所選的Sink傳遞Event失敗,則通過選擇機制挑選下一個可用的Sink,以此類推。


負載均衡(load balance)配置:


故障轉移:

Failover Sink Processor 維護了一個sink的優先順序列表,具有故障轉移的功能。配置引數如下:


Flume監控:

①Ganglia

②Http


使用zabbix做監控, 為flume新增zabbix監控模組,將需要的metrics資料傳送給zabbix

監控圖: