效果

版本號：6.0

配置logstash

管道配置

新建檔案filebeats.conf

input { 
  #beats { 
  #  port => 5044 
  #} 
  file { 
    path => [ "/usr/local/logstash/data/access.log" ] 
    start_position => "beginning" 
    ignore_older => 0 
  }  
} 
filter { 
    grok {
      match => {"message" => "%{COMBINEDAPACHELOG}"
 
} 

    } 
    geoip { 
      source => "clientip" 
      target => "geoip" 
      #database => "/usr/local/logstash/GeoLiteCity.dat" 
      add_field => ["[geoip][coordinates]", "%{[geoip][longitude]}"] 
      add_field => ["[geoip][coordinates]", "%{[geoip][latitude]}"] 
    } 
    mutate { 
      convert => ["[geoip][coordinates]"
 
, "float"] 
      convert => ["response","integer"] 
      convert => ["bytes","integer"] 
      replace => {"type" => "nginx_access"} 
      remove_field => "message" 
    } 
    date {
      match => ["create_at", "yyyy-MM-dd HH:mm:ss,SSS", "UNIX"]
      target => "@timestamp"
 

      locale => "cn"
    }
    mutate { 
      remove_field => "timestamp" 

    } 
} 
output { 
  elasticsearch { 
  index => "logstash-nginx-access-%{+YYYY.MM.dd}" 
  hosts => ["192.168.0.166:9200"] 
  user => "elastic" 
  password => "*[email protected]=" 
  } 
  stdout {codec => rubydebug} 
}

這個配置檔案只是針對一個日誌檔案，如果想要收集多臺機器上的日誌資料，可以使用Beats。

安裝logstash配置檔案裡的外掛

bin/logstash-plugin install logstash-filter-grok
bin/logstash-plugin install logstash-filter-geoip
bin/logstash-plugin install logstash-filter-mutate
bin/logstash-plugin install logstash-filter-date

啟動

bin/logstash -f filebeats.conf

配置Kibana

登陸Kibana(http://localhost:5601)，在Management裡面，新建一個Index Patterns，注意timestamp格式為data。

然後就可以在Visualize裡就可以新建自己想要的資料展現形式了，有柱狀圖，餅圖。。。

最後可以把上一部新建的圖示集中放在Dashboard裡面了。

參考：