python 提取log欄位
阿新 • • 發佈:2018-12-10
由於工作需要在一大堆日誌裡面提取相應的一些固定字元,如果單純靠手工取提取,資料量大,勞心勞力,於是自然而然想到了用Python做一個對應的提取工具,代替手工提取的繁雜,涉及中文字元,正則表示式不好匹配,但不是不可以實現,這個以後優化時再說。
需求描述:
一個父目錄中存在多個子資料夾,子資料夾下有多個txt形式化的Log日誌,要求從所有地方Log日誌中找出CardType=9, CardNo=0時的CardID的值,並將其統計儲存到一個文字檔案中,要求CardID不能夠重複。
需求解析:
首先獲取所有的Log日誌的全路徑,根據路徑分別載入到將各個Log日誌載入到記憶體中進行提取分析,並將結果儲存到給定的文字檔案中。
解決方案:
為了儘可能的簡潔通用,這裡使用配置檔案作為輸入變數的依據。不多說,上程式碼:
配置檔案如下:
103資料夾下有兩個檔案:log1.txt和log2.txt, 內容類似如下:
Python程式碼實現如下:
# -*- coding: utf-8 -*- #!/usr/bin/python # filename: picktools.py # codedtime:2015-3-25 import os import configparser # 遍歷一個目錄,輸出所有檔名 def itemsbrowse(path): for home, dirs, files in os.walk(path): for filename in files: yield os.path.join(home, filename) # 給的檔案中查詢對應的字串所在行 def findchars(filename, chars): file = open(filename, 'r') for eachline in file: if eachline.find(chars) >= 0: yield eachline file.close() # 新增到指定的檔案 def addtofile(filename, mygenerator): file = open(filename, 'a') # 追加方式開啟 for line in mygenerator: file.write(line) file.close() # 過濾重複的字元行 def filter(filename): mylist = [] file = open(filename, 'r') for eachline in file: mylist.append(eachline.strip()) file.close() file2 = open(os.path.splitext(filename)[0] + '_filter.txt', 'w') for line in list(set(mylist)): print(line, file = file2) #file2.write(line) file2.close() def excute(): iniconf = configparser.ConfigParser() iniconf.read('config.ini') ifile = iniconf.get('setting', 'ifilepath') ofile = iniconf.get('setting', 'ofilepath') chars = iniconf.get('setting', 'searchstr') for fullname in itemsbrowse(ifile): mygenerator = findchars(fullname, chars) addtofile(ofile, mygenerator) filter(ofile) if __name__ == '__main__': excute()
輸出結果:輸出兩個檔案result.txt 和result_filter.txt
心得體會:
1、利用Python去處理一些日常的小任務,可以很方便的完成,相比較C/C++來說,這方面生產力高了不少。
2、本文設計對中文字元的處理,所以使用正則表示式不太怎麼方便,但不少不可以,後續版本中會新增對正則的支援!
3、由於初學中,所以程式碼寫的不夠精煉簡潔,後續進行再優化!