Filebeat採用Go語言開發，也可用於日誌收集，相較於的Logstash，更輕量，資源佔用更少。一般部署在日誌收集的最前端。

  本文基於Filebeat 6.3.2總結。

設計要點

主要元件

  Filebeat主要由兩大元件組成：Harvester、Input。Output實際上是Beats公共庫libbeat一部分。

Harvester

  每個檔案啟動一個Harvester，即對應一個Go routine。Harvester負責開啟和關閉這個檔案。Harvester監控並按行讀取檔案，並將內容傳送到輸出。

Input

  Input負責管理Harvester，找到要讀取的每個檔案，併為每個檔案啟動Harvester。

狀態機制

  Filebeat記錄每個檔案的狀態並且重新整理此狀態到registry_file登錄檔檔案中。登錄檔檔案裡的offset記錄了成功傳送最後一行的偏移量。

  Filebeat重啟或Output重新可用時，Filebeat根據登錄檔檔案中記錄的位置，繼續讀取檔案。

  注意:登錄檔檔案被刪除，重啟filebeat可實現從頭開始重新讀取內容。

At-Least-Once機制

  Filebeat確保事件至少一次被髮送到配置的Output。Filebeat能夠實現At-Least-Once傳送，因為它將每個事件的傳送狀態儲存在登錄檔檔案中。

• 若輸出不可達或不能確認輸出是否已收到事件，Filebeat會繼續嘗試傳送事件，直到Filebeat確認輸出已收到。

• 若Filebeat在傳送事件的過程中關閉，重啟後，將再次嘗試傳送到輸出。這樣，在Filebeat關閉過程中未被確認到達的事件至少會被髮送一次，可以通過設定shutdown_timeout引數將Filebeat配置為在關閉之前等待特定時間，減少重複傳送事件的次數，從而減少輸出中事件的重複。

工作原理

  啟動Filebeat時，它會根據配置啟動一個或多個Input。對於Input找到的每個日誌檔案，都啟動一個Harvester。每個Harvester監控並讀取每行資料，並將內容傳送到libbeat，libbeat把事件匯聚成batch，並以client的方式傳送給特定Output，如Kafka、Elasticsearch。

快速部署

  ELK官網下載對應系統的Filebeat，安裝即可。

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-x86_64.rpm
rpm -ivh filebeat-6.3.2-x86_64.rpm

同一Filebeat Agent同步不同型別日誌到對應Kaka Topic

  Filebeat一般部署在業務伺服器上。

  Filebeat可以實現類似於tail -F 監控業務日誌檔案，並同步Kafka(很多公司的大資料平臺都以Kafka為資料中心)。

  一個Filebeat Instance(也可叫Filebeat Agent)可對應一個或多個Input，但只能有一個Output(6.x版本的新變化)。

  在/etc/filebeat目錄下建立配置檔案file_kafka.yml配置檔案內容如下：

#cpu
max_procs: 1

#memory
queue.mem:
  events: 2048
  flush.min_events: 1024
  flush.timeout: 5s

#配置輸入
#=========================== Filebeat inputs =============================
filebeat.inputs:
# 指定需要監控的檔案或者目錄
- type: log
  # 為true 表示啟用此配置
  enabled: true
  # 指定需要監控的檔案或者目錄
  paths:
    - /data/log/browse-*.log
  # 排除行
  #exclude_lines: ['^DBG']
  # 只包含的行
  #include_lines: ['^ERR', '^WARN']
  #需要排除的檔案 這裡排除以appError開頭的日誌檔案
  exclude_files: ['appError.*']
  #額外新增欄位，如
  fields:
    #使用者瀏覽日誌，使用者瀏覽時上報。應發往kafka topic:browse_log
    log_topic: browse_log

- type: log
  enabled: true
  paths:
    - /data/log/pay-*.log
  fields:
    #使用者下單日誌，使用者下單時上報。應發往kafka topic:pay_log
    log_topic: pay_log
  scan_frequency: 30s

- type: log
  enabled: true
  paths:
    - /data/log/click-*.log
  fields:
    #使用者點選日誌，使用者點選時上報。應發往kafka topic:click_log
    log_topic: click_log
  scan_frequency: 120s

#配置輸出
#6.x的filebeat,一個filebeat instace只能有一個輸出
#================================ Outputs =====================================
#輸出到控制檯
#output.console:
#  enabled: true
#  pretty: true
#  codec.format.string: '%{[message]}'


#輸出到kafka
output.kafka:
  #啟用此輸出
  enabled: true
  #只輸出Event Body
  codec.format:
    string: '%{[message]}'
  #kafka broker list
  hosts: ['node1:6667','node2:6667','node3:6667']
  #kafka topic
  topic: '%{[fields.log_topic]}'
  #kafka partition 分割槽策略 random/round_robin/hash
  partition.hash:
    #是否只發往可達分割槽
    reachable_only: false
  #kafka ack級別
  required_acks: -1
  #Event最大位元組數。預設1000000。應小於等於kafka broker message.max.bytes值
  max_message_bytes: 1000000
  #kafka output的最大併發數
  worker: 1
  #kafka 版本
  version: 0.10.1
  #單次發往kafka的最大事件數
  bulk_max_size: 2048

啟動filebeat

path.home:filebeat 安裝目錄
path.config:filebeat配置檔案目錄
path.data:持久化資料的檔案目錄如registry(登錄檔檔案)
path.logs:filebeat系統日誌檔案目錄
e:日誌不再輸入到path.logs，直接輸出到控制檯，用於debug
c:配置檔案，配置了input output等

/usr/share/filebeat/bin/filebeat \
  -path.home /usr/share/filebeat \
  -path.config /etc/filebeat \
  -path.data /var/lib/filebeat \
  -path.logs /var/log/filebeat \
  -e \
  -c file_kafka.yml

  同時向browse-1534527000.log、click-1534525200.log、pay-1534525200.log中追加資料，檢視kafka-console-consumer中變化。

  可以看到，三個topic分別收到各自的訊息。