Logstash和Flume-NG Syslog接收小測試
目前在大規模日誌處理平臺中常見的日誌採集器可以採用Logstash或Flume。這兩種日誌採集器架構設計理念基本相似，都採用採集-過濾處理-輸出的方式。下面對這兩種採集器Syslog接收效能做個簡單測試，供大家參考。
- 測試過程
基本測試過程是使用2臺機器，1臺負責傳送Syslog資料包，一臺採集器。
在採集器上分別安裝ELK套件和Apache Flume 1.8.0軟體。
Logstash採集配置如下：
input {
udp {
host => "0.0.0.0"
port => "514"
type => "syslog"
codec => plain { charset => "UTF-8" }
}
}
output {
elasticsearch {
hosts => ["10.0.190.109:9200"]
document_type => "syslog"
}
}
Flume-NG採集配置如下：
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = syslogudp
a1.sources.r1.port = 5140
a1.sources.r1.host = 10.0.190.109
a1.sources.r1.channels = c1
# Describe the sink
a1.sinks.k1.type = file_roll
a1.sinks.k1.channel = c1
a1.sinks.k1.sink.directory = /opt/flumelog
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
重點來了，從測試機連續傳送Syslog資料包，連續傳送1000次，多次驗證測試結果可以發現：
ELK中可以基本接收到1000條。
Flume可以接收到並寫入本地檔案200到350條之間。上述兩者差別主要在於Logstash接收並寫入ES中，Flume接收並寫入本地檔案（寫入ES太麻煩，Flume的ES Sink模組不相容最新的ES版本）。
但是把配置中a1.sources.r1.type = syslogudp改成a1.sources.r1.type = syslogtcp，在測試機發送tcp格式的syslog資料包基本可以收到1000條。
以上只是個小小的測試，供大家參考。