logstash日誌收集json歌手 & 日誌引數分離
阿新 • • 發佈：2020-08-14
目錄
ELK日誌收集分離篇
一、Logstash收集日誌
1.Logstash的配置檔案
[root@web01 ~]# vim /etc/logstash/logstash.yml
path.config: /etc/logstash/conf.d
2.logstash收集日誌檔案到檔案
[root@web01 ~]# vim /etc/logstash/conf.d/file_file.conf input { file { path => "/var/log/messages" start_position => "beginning" } } output { file { path => "/tmp/messages_%{+YYYY-MM-dd}.log" } }
3.logstash收集日誌檔案到ES
[root@web01 ~]# vim /etc/logstash/conf.d/file_es.conf input { file { path => "/var/log/messages" start_position => "beginning" } } output { elasticsearch { hosts => ["172.16.1.51:9200"] index => "messages_%{+YYYY-MM-dd}.log" } }
4.Logstash收集多日誌到檔案
[root@web01 ~]# vim /etc/logstash/conf.d/file_file.conf
input {
file {
type => "messages_log"
path => "/var/log/messages"
start_position => "beginning"
}
file {
type => "secure_log"
path => "/var/log/secure"
start_position => "beginn ing"
}
}
output {
if [type] == "messages_log" {
file {
path => "/tmp/messages_%{+YYYY-MM-dd}"
}
}
if [type] == "secure_log" {
file {
path => "/tmp/secure_%{+YYYY-MM-dd}"
}
}
}
5.Logstash收集多日誌到ES
1）方法一：
[root@web01 ~]# vim /etc/logstash/conf.d/more_es.conf
input {
file {
type => "messages_log"
path => "/var/log/messages"
start_position => "beginning"
}
file {
type => "secure_log"
path => "/var/log/secure"
start_position => "beginning"
}
}
output {
if [type] == "messages_log" {
elasticsearch {
hosts => ["10.0.0.51:9200"]
index => "messages_%{+YYYY-MM-dd}"
}
}
if [type] == "secure_log" {
elasticsearch {
hosts => ["10.0.0.51:9200"]
index => "secure_%{+YYYY-MM-dd}"
}
}
}
[root@web01 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/more_es.conf &
#啟動後檢視頁面
2）方法二：
[root@web01 ~]# vim /etc/logstash/conf.d/more_es_2.conf
input {
file {
type => "messages_log"
path => "/var/log/messages"
start_position => "beginning"
}
file {
type => "secure_log"
path => "/var/log/secure"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["10.0.0.51:9200"]
index => "%{type}_%{+YYYY-MM-dd}"
}
}
# 這裡兩個同時執行，所以需要指定資料目錄
[root@web01 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/more_es_2.conf --path.data=/data/logstash/more_es_2 &
3）啟動多例項
#建立不同的資料目錄
[root@web01 ~]# mkdir /data/logstash/more_es_2
[root@web01 ~]# mkdir /data/logstash/more_es
#啟動時使用--path.data指定資料目錄
[root@web01 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/more_es.conf --path.data=/data/logstash/more_es &
[root@web01 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/more_es_2.conf --path.data=/data/logstash/more_es_2 &
#如果資源充足，可以使用多例項收集多日誌，如果伺服器資源不足，啟動不了多例項，配置一個檔案收集多日誌啟動
二、Tomcat日誌收集
1.普通收集
0> 說明
# 在一般情況中，收集的日誌不應該是local_access_log日誌，因為這是一個訪問日誌，在一般架構中，
tomcat前端應該有nginx或者其他代理服務，那麼對於訪問日誌，直接在代理伺服器中收集即可，在tomcat中收集的日誌應該為catalina.XXXX-XX-XX.log日誌，此日誌檔案為服務啟動檔案。
1>.logstash收集Tomcat日誌到檔案
[root@web01 ~]# vim /etc/logstash/conf.d/tomcat_file.conf
input {
file {
path => "/usr/local/tomcat/logs/localhost_access_log.*.txt"
start_position => "beginning"
}
}
output {
file {
path => "/tmp/tomcat_%{+YYYY-MM-dd}.log"
}
}
2>.logstash收集Tomcat日誌到ES
[root@web01 ~]# vim /etc/logstash/conf.d/tomcat_es.conf
input {
file {
path => "/usr/local/tomcat/logs/localhost_access_log.*.txt"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["10.0.0.51:9200"]
index => "tomcat_%{+YYYY-MM-dd}.log"
}
}
2.收集日誌並修改為json格式
0>.說明
#收集tomcat日誌，當遇到報錯時，一條報錯會被分割成很多條資料，不方便檢視,所以需要將原本格式改為json格式,
然後再使用input外掛下的mutiline模組，或者直接使用mutiline模組，也就是方法二的方式。
建議：
如果真的要使用方法二，會發現日誌只能對錯誤日誌進行收集，因為正確日誌並不是以 [ 開頭，
所以建議在生產中需要運維來實現json轉換，將tomcat的日誌檔案輸出到兩個檔案中，一般日誌檔案和錯誤檔案分別存放，再使用logstash分別對兩個檔案進行日誌收集
解決方法：
1.修改tomcat日誌格式為json
1）開發修改輸出日誌為json
2）修改tomcat配置，日誌格式為json
2.使用logstash的input外掛下的mutiline模組
# 這裡展示1.2和2中的方式，通過修改tomcat配置檔案和直接使用模組兩種方式
1>.方法一：修改tomcat的日誌格式
① 修改tomcat配置檔案日誌格式
# tomcat的主配置檔案中最下面的一段就是日誌格式
[root@web01 ~]# vim /usr/local/tomcat/conf/server.xml
#把原來的日誌格式註釋，新增我們的格式
<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
prefix="tomcat_access_json" suffix=".log"
pattern="{"clientip":"%h","ClientUser":"%l","authenticated":"%u","AccessTime":"%t","method":"%r","status":"%s","SendBytes":"%b","Query?string":"%q","partner":"%{Referer}i","AgentVersion":"%{User-Agent}i"}"/>
② 重啟tomcat
[root@web01 ~]# /usr/local/tomcat/bin/shutdown.sh
[root@web01 ~]# /usr/local/tomcat/bin/startup.sh
③ 啟動logstash
[root@web01 ~]# vim /etc/logstash/conf.d/tomcat_json_es.conf
input {
file {
path => "/usr/local/tomcat/logs/tomcat_access_json.*.log"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["10.0.0.51:9200"]
index => "tomcat_json_%{+YYYY-MM-dd}.log"
}
}
2> 方法二：使用mutiline模組實現錯誤日誌收集
①說明
# 此方式可在不修改tomcat主配置檔案中的日誌格式下操作，直接使用模組會將輸出結果以json格式輸出
② 收集日誌以json格式輸出到螢幕
[root@web01 ~]# vim /etc/logstash/conf.d/test_mutiline.conf
input {
stdin {
# 呼叫匹配合並模組
codec => multiline {
# 遇到以 [ 開頭的開始合併
pattern => "^\["
#匹配到上面指定的字元進行合併，如果是false則匹配到進行合併
negate => true
#向上合併，向下合併是next
what => "previous"
}
}
}
output {
stdout {
codec => json
}
}
#測試，輸入內容不會直接輸出，當遇到以 [ 開頭才會收集以上的日誌
③ 收集日誌以json格式輸出到ES
# 因為在tomcat的錯誤日誌中是以 [ 開頭，所以可以根據模組的匹配規則。
[root@web01 ~]# vim /etc/logstash/conf.d/tomcat_mutiline.conf
input {
file {
path => "/usr/local/tomcat/logs/tomcat_access_json.*.log"
start_position => "beginning"
codec => multiline {
pattern => "^\["
negate => true
what => "previous"
}
}
}
output {
elasticsearch {
hosts => ["10.0.0.51:9200"]
index => "tomcat_json_%{+YYYY-MM-dd}"
codec => "json"
}
}
④ 模擬將錯誤日誌寫入
[root@web01 ~]# cat 1.txt >> /usr/local/tomcat/logs/tomcat_access_json.2020-08-14.log
# 最後網頁檢視結果，錯誤日誌沒有像以往一樣分隔成多條資料，而是成塊顯示
三、nginx日誌收集
1.普通收集
# 將日誌檔案輸出到es中
[root@web01 ~]# vim /etc/logstash/conf.d/nginx_json.conf
input {
file {
path => "/var/log/nginx/access.log"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["10.0.0.51:9200"]
index => "nginx_json_%{+YYYY-MM-dd}.log"
}
}
2.日誌修改json格式
1.# 將原本的日誌格式刪除，使用這種方式會將輸出日誌以json格式顯示。
[root@web01 ~]# vim /etc/nginx/nginx.conf
... ...
http {
log_format json '{"@timestamp":"$time_iso8601",'
'"host":"$server_addr",'
'"clientip":"$remote_addr",'
'"size":$body_bytes_sent,'
'"responsetime":$request_time,'
'"upstreamtime":"$upstream_response_time",'
'"upstreamhost":"$upstream_addr",'
'"http_host":"$host",'
'"url":"$uri",'
'"referer":"$http_referer",'
'"agent":"$http_user_agent",'
'"status":"$status"}';
access_log /var/log/nginx/access.log json;
.............
2.#實驗將日誌檔案再次輸出到es中，檢視結果（圖一）
- 這裡發現出現兩種資料格式，最上面為json鍵值對格式，下面為舊的預設格式
四、日誌引數分離
1.說明
# 需要配合json一起使用，當資料轉換成json後，message裡面存放為鍵值對形式，然後將鍵值對中的每個鍵值進行拆分。
方法一：
1.修改tomcat日誌收集配置
[root@web01 ~]# vim /etc/logstash/conf.d/tomcat_json_es.conf
input {
file {
path => "/usr/local/tomcat/logs/tomcat_access_json.*.log"
start_position => "beginning"
}
}
#把收集到的資料進行處理
filter {
json {
source => "message" # 將message中的鍵值對進行拆分
}
}
output {
elasticsearch {
hosts => ["10.0.0.51:9200"]
index => "tomcat_json_%{+YYYY-MM-dd}.log"
}
}
2.去掉多餘資料
#message資料已經拆分，但是原本message中資料還在，去掉老的message資料，只留新拆分資料
filter {
json {
source => "message"
remove_field => ["message"]
}
}
方法二：
#nginx不需要配置修改獲取日誌，只需要收集同時修改格式即可（前提是這個日誌檔案已經是json格式了）
[root@web01 ~]# vim /etc/logstash/conf.d/nginx_json.conf
input {
file {
path => "/var/log/nginx/access.log"
start_position => "beginning"
codec => "json"
}
}
output {
elasticsearch {
hosts => ["10.0.0.51:9200"]
index => "nginx_json_%{+YYYY-MM-dd}.log"
}
}
# 網頁格式檢視（圖二）
- 圖二（都進行了拆分）