使用flume進行日誌收集的總結(2)
阿新 • • 發佈:2019-02-08
Sinks groups 和 Sink Processors
Sink groups允許組織多個sink到一個實體上。 Sink processors能夠提供在組內所有Sink之間實現負載均衡的能力,而且在失敗的情況下能夠進行故障轉移從一個Sink到另一個Sink。
配置多個sink組成一個sinkgroup 並實現負載均衡
負載均衡(load balance)
Load balancing sink processor 提供了多個sinks負載均衡的能力,它維護了一個active sinks列表,該列表中的負載是分散式的。預設實現了round_robin(輪詢排程) 或者 random(隨機) 的選擇機制,預設配置是:round_robin(輪詢排程),也可以通過繼承AbstractSinkSelector類來實現自定義的選擇機制。 當被呼叫時,選擇器根據配置檔案的選擇機制挑選下一個sink,並且呼叫該sink。如果所選的Sink傳遞Event失敗,則通過選擇機制挑選下一個可用的Sink,以此類推。
負載均衡(load balance)配置:
故障轉移:
Failover Sink Processor 維護了一個sink的優先順序列表,具有故障轉移的功能。配置引數如下:
Flume監控:
①Ganglia
②Http
使用zabbix做監控, 為flume新增zabbix監控模組,將需要的metrics資料傳送給zabbix
監控圖: