1. 程式人生 > >flume 1.7 的配置

flume 1.7 的配置

zxvf 解決 tex clas 文件 env home 收集 bin

Apache Flume是一個分布式的、可靠的、高效的日誌數據收集組件;我們通常使用Flume將分散在集群中多個Servers的log文件,匯集到中央式的數據平臺中,以解決“從離散的日誌文件中查看、統計數據困難”的問題。當然,Flume不僅僅可以收集log文件,它也支持比如TCP、UDP等消息數據的收集;無論如何,我們最終解決的問題就是“將離散的數據進行收集

flume的一些核心概念:
Agent使用JVM 運行Flume。每臺機器運行一個agent,但是可以在一個agent中包含多個sources和sinks。
Client生產數據,運行在一個獨立的線程。
Source從Client收集數據,傳遞給Channel。
Sink從Channel收集數據,運行在一個獨立線程。
Channel連接 sources 和 sinks ,這個有點像一個隊列。
Events可以是日誌記錄、 avro 對象等

Flume以agent為最小的獨立運行單位。一個agent就是一個JVM。單agent由Source、Sink和Channel三大組件構成,如下圖:

技術分享

二 、flume的官網

http://flume.apache.org/

下載地址: http://flume.apache.org/download.html

三、安裝

1.解壓下載好的包

# > tar -zxvf apache-flume-1.7.0-bin.tar.gz

2.修改系統環境變量

# > vim /etc/profile

export FLUME_HOME=/home/bigdata/flume-1.7.0

export PATH=$PATH:$FLUME_HOME/bin:

3.刷新環境變量

# > source /etc/profile

4.驗證安裝

# > flume-ng version

會看到以下輸出:

技術分享

5.修改flume的flume-env.sh 配置文件

# > /home/flume-1.7.0/conf

在文件中添加

export JAVA_HOME=/home/jdk1.8.0_131/

完成!!!

flume 1.7 的配置