Flume 概念和流程初步了解
阿新 • • 發佈：2018-09-21
channel channels 就是 技術 ava 51cto mes 地方 初步了解 最近接觸了Flume這個日誌框架，還蠻不錯的，當今大數據遍不天下，采集數據，變得尤為珍貴。
Agent：一個agent對應一個java進程，它使用JVM啟動，可配置JVM參數。
Flume框架優點：
1、它是一個分布式，高可用的日誌采集框架，很多公司都應用它進行二次改造，進行日誌收集。
2、應用了事務機制保證消息的可靠性傳遞。
3、特別喜愛它的一點是，它是Java開發，很容易進行二次開發，或線上出現問題了，很容易找到問題的所在，而且配置文件可配置JVM。
4、最後、功能組件模塊分的清楚，很容易上手。
Flume基本組件以及基礎概念：
Sources：采集源，也是數據來源，就是說你要采集的目標。
Channels：數據通道，Sources數據采集到這裏，暫存，直到給Sink組件
Sink：目標地，數據采集到了最終要傳遞到一個地方，Sink是幹這個工作的。
Agent：一個agent對應一個java進程，它使用JVM啟動，可配置JVM參數。
Flumes運行流程：
sources監聽到特定的source type數據來源，存入到channels通道，它保存的都是以事件為單位的數據，等待sink來消費，sink負責將channels裏存入的event事件推送到目標地。
Flume常用的模型（來自官網）
地址：http://flume.apache.org/FlumeUserGuide.html#
模型一：
模型二：
模型三：
模型四：
後續還在學習中，如有不對的地方，可一起學習。
Flume 概念和流程初步了解