Windows 日誌高階篩選實踐
背景
經常需要檢視日誌,不僅是用來排錯,有些時候我還需要監控系統來抓取特定日誌來幫助減少我的工作負擔,以及時監控到異常出現,並作出通知及響應,那麼從大量日誌中快速並精確篩選出想要的日誌,並且精確提取資訊,是一個必備的技能。我曾經用內建的事件檢視器的篩選器進行事件篩選,然後儲存檢視,或者使用powershell get-winevent 進行篩選,也使用logparser, 或者第三方的日誌檢視工具比如eventexplorer 進行日誌篩選。但是總是遇到幾個主要的問題:
從大量日誌中過濾出極個別日誌,每次執行的事件總是太長。
不能靈活的或者更精確的進行篩選。一般只能大概的匹配,然後再做一步處理。通常又遇到1的問題。
嘗試和比較
經過一些嘗試和使用,個人覺得powershell 的get-winevent 最方便,因為畢竟是一個指令碼語言,可以進一步進行處理,而且可以很靈活的處理。logparser 很快,但是如果精確提取某些日誌的欄位,就沒有那麼容易了,windows 日誌的EventData中的資料複雜多樣,靠幾個常規欄位是沒有辦法靈活進行處理的。
論速度的話,除了logparser,使用xml 篩選是最快速的。但是xml 篩選需要使用複雜的、受限的xpath 1.0 (被微軟實現後,有更多限制),雖然有點蹩腳又難懂,但是和時間節省算起,還是劃的來的,特別是重複任務。
一個比較好的開始是從下面連結開始。
正式實踐
一個比較常用場景是,我經常需要精確過濾到哪個賬號最近鎖定了,哪臺計算機鎖定的,什麼時候。我需要很快速的能查詢到鎖定日誌。過去雖然我用get-winevent –filterhashtable 可以做到這些,但是速度實在太慢了,雖然我的域控只有4臺。我經常和使用者說,如果你想知道你在哪臺計算機上鎖定了,請等待一段時間,我會把查詢結果用郵件發給你。不過現在使用xpath 過濾時,我基本上可以在使用者打電話過來時,告訴他這些資訊。
下面XML 過濾AD安全日誌中的最近一天的某個使用者名稱的鎖定日誌
<QueryList> <Query Id="0" Path="Security"> <Select Path="Security"> *[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]] and *[EventData[Data[@Name='TargetUserName']='somebody']] </Select> </Query> </QueryList>
如果你只想過濾最近一天所有使用者的鎖定日誌,那麼這樣寫
<QueryList> <Query Id="0" Path="Security"> <Select Path="Security"> *[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]] </Select> </Query> </QueryList>
上面過濾XML可以在 事件檢視器的 篩選當前日誌--》XML---》手動編輯查詢中進行測驗。
OK ,為了方便使用,我們做成一個powershell function ,方便日常使用,直接上例子。
function get-lockedEvent{ <# .SYNOPSIS Function to filter user locked event which id=4740 .DESCRIPTION This function search user locked events in DC security logs, this function need the domain admin priv. .EXAMPLE get-lockedEvent -loginname oaoperator -show .EXAMPLE PS C:\> get-lockedEvent -loginname oaoperator -summary Count Name ----- ---- 457 Oaoperator, OA .EXAMPLE PS C:\> get-lockedEvent -loginname oaoperator Username LockedPC Datetime EventLocation -------- -------- -------- ------------- Oaoperator OA 2018/9/27 10:27:40 dc02 Oaoperator OA 2018/9/27 10:32:40 dc02 #> [cmdletbinding()] param( [parameter(Mandatory=$false)] [string] $loginname, [Parameter(Mandatory=$false)] [switch] $summary, [Parameter(Mandatory=$false)] [switch] $show ) # filter Locked Events generated in 1 day and username eq loginname [email protected]' <QueryList> <Query Id="0" Path="Security"> <Select Path="Security"> *[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]] and *[EventData[Data[@Name='TargetUserName']='{0}']] </Select> </Query> </QueryList> '@ # filter Locked Events generated in 1 day [email protected]' <QueryList> <Query Id="0" Path="Security"> <Select Path="Security"> *[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]] </Select> </Query> </QueryList> '@ if($loginname){ $f=$f2 -f $loginname }else{ $f=$f1 } $DCs=Get-ADDomainController -Filter *|%{$_.hostname} $r=Invoke-Command -ComputerName $DCs -ArgumentList @($f) -Command{ param( $filter ) $events=Get-WinEvent -FilterXml $filter $events|%{ $e=[xml]$_.toxml() [PSCustomObject]@{ 'Username'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetUserName'})."#text" 'LockedPC'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetDomainName'})."#text" 'Datetime'=[datetime]$e.Event.System.TimeCreated.SystemTime 'EventLocation'=$e.Event.System.Computer } } }|Sort-Object -Property Datetime |select -Property 'UserName','LockedPC','Datetime','EventLocation' if($summary){ $r=$r|Group-Object -Property Username,LockedPC -NoElement } if($show){ $r|Out-GridView }else{ $r } }
另外一個實踐
由於最近有一些計劃任務的狀態需要監控,而且考慮到這應該是一個非常通用的需求,所以我想過濾計劃任務名稱匹配\qq_ent 開頭的,然後任務執行結果不為0的日誌,儘管我參考著下面的一些blog 連結,也讓我嘗試了好一會,我想應該記錄下這些過程。
我們先來看看計劃任務日誌的xml 內容:
<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event"> <System> <Provider Name="Microsoft-Windows-TaskScheduler" Guid="{DE7B24EA-73C8-4A09-985D-5BDADCFA9017}" /> <EventID>201</EventID> <Version>2</Version> <Level>4</Level> <Task>201</Task> <Opcode>2</Opcode> <Keywords>0x8000000000000000</Keywords> <TimeCreated SystemTime="2018-11-18T05:00:02.058811400Z" /> <EventRecordID>144817</EventRecordID> <Correlation ActivityID="{110529FD-DBFD-4E59-B207-83DF8CC779B8}" /> <Execution ProcessID="1508" ThreadID="24392" /> <Channel>Microsoft-Windows-TaskScheduler/Operational</Channel> <Computer>ComputerName.xxx.com</Computer> <Security UserID="S-1-5-18" /> </System> <EventData Name="ActionSuccess"> <Data Name="TaskName">\qq_ent\store_to_db</Data> <Data Name="TaskInstanceId">{110529FD-DBFD-4E59-B207-83DF8CC779B8}</Data> <Data Name="ActionName">C:\Users\UserName\AppData\Local\Programs\Python\Python37\python3.exe</Data> <Data Name="ResultCode">2147942401</Data> <Data Name="EnginePID">22172</Data> </EventData> </Event>
說下我們的任務:
匹配 EventData 中Data 名稱為TaskName的,它的值應該是\qq_ent\xxxx
匹配 EventData中 Data 名稱為ResultCode的,它的值應該是>0 或者不等於0的
EventID=201
Provider Name=Microsoft-Windows-TaskScheduler
最後成型的過濾,和微軟的之前的例子不一樣。
<QueryList> <Query Id="0" Path="Microsoft-Windows-TaskScheduler/Operational"> <Select Path="Microsoft-Windows-TaskScheduler/Operational"> *[System/EventID=201] and *[EventData[ ( Data[@Name='TaskName']='\qq_ent\download_images' or Data[@Name='TaskName']='\qq_ent\store_to_db_offline' or Data[@Name='TaskName']=='\qq_ent\gatherQQmsg' or Data[@Name='TaskName']=='\qq_ent\store_to_db' ) and Data[@Name='ResultCode'] !=0 ]] </Select> </Query> </QueryList>
我之前按照微軟的例子是這樣寫的,結果不對的。
<QueryList> <Query Id="0" Path="Microsoft-Windows-TaskScheduler/Operational"> <Select Path="Microsoft-Windows-TaskScheduler/Operational"> *[System/EventID=201] and *[ EventData[ ( Data[@Name='TaskName'] and ( Data='\qq_ent\download_images' or Data='\qq_ent\store_to_db_offline' or Data='\qq_ent\gatherQQmsg' or Data='\qq_ent\store_to_db' ) ) and ( Data[@Name='ResultCode'] and Data !='0' ) ] ] </Select> </Query> </QueryList>
注意事項
event log 中的Xpath 受限,能使用的函式有限,因此如果你想篩選字串,你會發現starts-with contains 這些xpath 函式都不支援。儘量使用其他條件篩選,然後再使用powershell內建過濾功能進行過濾,當然這要犧牲一些處理時間。
Xpath中的一些字串要進行轉義,比如你想比較一個數字,可能寫Data>0,那麼> 要轉義成>
參考資料