轉自：https://www.jianshu.com/p/49ae54a411b8

一、前言

Logstash是Elastic stack 中的一個開源元件，其不僅能夠對日誌進行抓取收集，還能對抓取的日誌進行過濾輸出。Logstash的過濾外掛有多種，如：grok、date、json、geoip等等。其中最為常用的為grok正則表示式過濾。

二、grok的匹配語法

grok的匹配語法分為兩種：grok自帶的基本匹配模式、使用者自定義的匹配模式。

- Grok的基本匹配模式

Grok模組提供了預設內嵌了一些基本匹配模式，其使用語法為：

%{SYNTAX:SEMANTIC}

其中SYNTAX為匹配模式的名稱，用於呼叫相應的匹配模式匹配文字，如：3.44 會被NUBER模式所匹配，而10.10.10.1會被IP模式所匹配。
而SEMANTIC則是用於標記被匹配到的文字內容，如10.10.10.1被IP模式所匹配，並編輯為ClientIP。
其使用例子：

%{NUMBER:duration} %{IP:ClientIP}

- Grok的自定義模式

Grok模組是基於正則表示式做匹配的，因此當基本匹配模式不足以滿足我們的需求時，我們還自定義模式編譯相應的匹配規則。
Grok的自定義模式的語法：

(?<field_name>the pattern here)

其中filed_name為自定義模式的名稱，pattern即指正則表示式。

如：

#匹配時間的自定義模式
(?<Date>(\d*[./-]\d*[./-]\d* \d*:\d*:\d*[.,][0-9]+))

三、grok的過濾配置選項和通用選項

grok支援下述的過濾配置選項

grok的通用選項：
下述選項是被所有過濾外掛都支援的通用選項。

四、grok使用示例

新增和移除指定的欄位

input {
        beats {
                port => 5044
                type => "nginx"
        }
}

filter {
        if [type] == "nginx" {
        grok {
                match => { "message" => ["(?<RemoteIP>(\d*.\d*.\d*.\d*)) - %{DATA:[nginx][access][user_name]} \[%{HTTPDATE:[nginx][access][time]}\] \"%{WORD:[nginx][access][method]} %{DATA:[nginx][access][url]} HTTP/%{NUMBER:[nginx][access][http_version]}\" %{NUMBER:[nginx][access][response_code]} %{NUMBER:[nginx][access][body_sent][bytes]} \"%{DATA:[nginx][access][referrer]}\" \"%{DATA:[nginx][access][agent]}\""] }
        add_field => {
                "Device" => "Charles Desktop"
        }
        remove_field => "message"
        remove_field => "beat.version"
        remove_field => "beat.name"
                }
        }
}

output {
        if [type] == "nginx" {
                elasticsearch {
                        hosts => "10.10.10.6:9200"
                        index => "logstash-testlog"
        }       }
}

小禮物走一走，來簡書關注我

作者：小尛酒窩
連結：https://www.jianshu.com/p/49ae54a411b8
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯絡作者獲得授權並註明出處。