logstasha安裝注意事項與啟動案例
阿新 • • 發佈:2022-02-27
logstasha安裝注意事項與啟動案例
Logstash 是ELK的主要成員 (logstash ElasticSearch Kibana)主要作用是讀取資料,並且提供了過濾器清洗資料,輸出資料
我們接下來展示案例,這裡需要注意的是: ELK都是同一個公司的出品,所以 組合起來 版本也必須一致
一定要注重版 否則 會有很有奇怪的bug 例如 找不到java_home 或者是findStr命令失效 等等 環境變數明明配置了但是就是出錯等原因, 最好選擇 7.16.2版本
安裝開始:
去官網下載軟體 :https://www.elastic.co/cn/downloads/logstash
選擇logstash 並且選擇 7.16.2版本 下載:
下載到本地後解壓軟體:
第二步 進入bin目錄
我們建立一個weblog.conf的檔案,這也是我們要讀取目標和輸出資料的配置
copy出內容
input{
file{
path=>["C:\Users\Administrator\log\xxxx1.2\bms-web.log"] #需要讀取的檔案
#監聽檔案的起始位置,預設是end
start_position => beginning
type=>"data"
sincedb_path => "D:\1.txt"
}
}
filter {
grok {
match => {
# 從原始日誌中解析出 trace_id 等其它需要的欄位
"message" => "^(?<timestamp>\d{4}\-\d{2}\-\d{2}\s\d{2}\:\d{2}\:\d{2}\.\d{3})\s(?<level>\w{4,5})\s+\T\I\D\:\s*(?<trace_id>[0-9a-f.]{54})\s%{DATA:thread}\s%{DATA:class}\:%{GREEDYDATA:content}$"
}
}
mutate {
remove_field => "message" # 刪除原始日誌內容節省儲存和頻寬
}
}
output{
#elasticsearch{ #輸出到es
#hosts=>["127.0.0.1:9200"]
#index=>"filedemo"
# document_type => "filedemo"
#}
stdout{codec => rubydebug }
}
編寫完了檔案bin目錄就多了一個weblog.conf檔案
啟動logstash 測試一下
cmd 進入到 logstash 的bin目錄下
輸入命令
logstash -f weblog.conf
結果是啟動成功 , 我這裡是把檔案 輸出的ES裡面了你如果也想輸出的ES 需要把 檔案的註釋解除: 並且還要安裝ElasticSearch
output{
elasticsearch{ #輸出到es
hosts=>["127.0.0.1:9200"]
index=>"filedemo"
document_type => "filedemo"
}
stdout{codec => rubydebug }
}