flume 1.7 的配置
Apache Flume是一個分布式的、可靠的、高效的日誌數據收集組件;我們通常使用Flume將分散在集群中多個Servers的log文件,匯集到中央式的數據平臺中,以解決“從離散的日誌文件中查看、統計數據困難”的問題。當然,Flume不僅僅可以收集log文件,它也支持比如TCP、UDP等消息數據的收集;無論如何,我們最終解決的問題就是“將離散的數據進行收集
flume的一些核心概念:
Agent使用JVM 運行Flume。每臺機器運行一個agent,但是可以在一個agent中包含多個sources和sinks。
Client生產數據,運行在一個獨立的線程。
Source從Client收集數據,傳遞給Channel。
Sink從Channel收集數據,運行在一個獨立線程。
Channel連接 sources 和 sinks ,這個有點像一個隊列。
Events可以是日誌記錄、 avro 對象等
Flume以agent為最小的獨立運行單位。一個agent就是一個JVM。單agent由Source、Sink和Channel三大組件構成,如下圖:
二 、flume的官網
http://flume.apache.org/
下載地址: http://flume.apache.org/download.html
三、安裝
1.解壓下載好的包
# > tar -zxvf apache-flume-1.7.0-bin.tar.gz
2.修改系統環境變量
# > vim /etc/profile
export FLUME_HOME=/home/bigdata/flume-1.7.0
export PATH=$PATH:$FLUME_HOME/bin:
3.刷新環境變量
# > source /etc/profile
4.驗證安裝
# > flume-ng version
會看到以下輸出:
5.修改flume的flume-env.sh 配置文件
# > /home/flume-1.7.0/conf
在文件中添加
export JAVA_HOME=/home/jdk1.8.0_131/
完成!!!
flume 1.7 的配置