日誌實時收集之FileBeat+Kafka
之前,我們的某一個業務用於實時日誌收集處理的架構大概是這樣的:
在日誌的產生端(LogServer伺服器),都部署了FlumeAgent,實時監控產生的日誌,然後傳送至Kafka。經過觀察,每一個FlumeAgent都佔用了較大的系統資源(至少會佔用一顆CPU 50%以上的資源)。而另外一個業務,LogServer壓力大,CPU資源尤其緊張,如果要實時收集分析日誌,那麼就需要一個更輕量級、佔用資源更少的日誌收集框架,於是我試用了一下Filebeat。
Filebeat是一個開源的文字日誌收集器,採用go語言開發,它重構了logstash採集器原始碼,安裝在日誌產生伺服器上來監視日誌目錄或者特定的日誌檔案,並把他們傳送到logstash、elasticsearch以及kafka上。Filebeat是代替logstash-forwarder的資料採集方案,原因是logstash執行在jvm上,對伺服器的資源消耗比較大(Flume也是如此)。正因為Filebeat如此輕量級,因此不要奢望它能在日誌收集過程中做更多清洗和轉換的工作,它只負責一件事,就是高效可靠的傳輸日誌資料,至於清洗和轉換,可以在後續的過程中進行。
Filebeat官網地址為:https://www.elastic.co/guide/en/beats/filebeat/current/index.html 你可以在該地址中下載Filebeat和檢視文件。
Filebeat安裝配置
Filebeat的安裝和配置非常簡單。
下載filebeat-5.6.3-linux-x86_64.tar.gz,並解壓。 進入filebeat-5.6.3-linux-x86_64目錄,編輯配置檔案filebeat.yml
配置input,監控日誌檔案:
- filebeat.prospectors:
- - input_type: log
- paths:
- - /data/dmp/openresty/logs/dmp_intf_*.log
配置output到Kafka #—————————– Kafka output ——————————–
- output.kafka:
- hosts: ["datadev1:9092"]
- topic: lxw1234
- required_acks: 1
PS:假設你的Kafka已經安裝配置好,並建了Topic。
更多的配置選項,請參考官方文件。
Filebeat啟動
在filebeat-5.6.3-linux-x86_64目錄下,執行命令:
./filebeat -e -c filebeat.yml 來啟動Filebeat。
啟動後,Filebeat開始監控input配置中的日誌檔案,並將訊息傳送至Kafka。
你可以在Kafka中啟動Consumer來檢視:
./kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic lxw1234 –from-beginning
Filebeat的訊息格式
原始日誌中,日誌格式如下:
2017-11-09T15:18:05+08:00|~|127.0.0.1|~|-|~|hy_xyz|~|200|~|0.002
Filebeat會將訊息封裝成一個JSON串,除了包含原始日誌,還包含了其他資訊。
@timestamp:訊息傳送時間
beat:Filebeat執行主機和版本資訊
fields:使用者自定義的一些變數和值,非常有用,類似於Flume的靜態攔截器
input_type:input型別
message:原始日誌內容
offset:此條訊息在原始日誌檔案中的offset
source:日誌檔案
另外, Filebeat對CPU的佔用情況:
經過初步試用,以下方面的問題還有待繼續測試:
- 資料可靠性:是否存在日誌資料丟失、重複傳送情況;
- 能否對Filebeat的訊息格式進行定製,去掉一些冗餘無用的項。