Python logging日誌模組 配置檔案方式
阿新 • • 發佈:2020-07-13
在一些微服務或web服務中我們難免需要日誌功能,用來記錄一些使用者的登入記錄,操作記錄,以及一些程式的崩潰定位,執行訪問定位等等;
Python內建 非常強大的日誌模組 ==> logging 今天給大家分享一下以配置檔案形式進行配置log日誌 ;
Centos6.7
Python3.6
logging0.5.1.2
logging模組有三個比較重要的功能元件:
1、loggers 配置檔案可定義一些輸出日誌的appname
2、handler 過濾器,比如設定日誌的分隔大小,輸出位置,日誌檔案建立等
3、formatters 指定日誌輸出的格式
1: 建立一個檔案,以.conf結尾 或以.ini結尾(PS: 其他的結尾沒試過,你可以試試)
vim log.conf
2: 定義日誌輸出的APP名,指定過濾器這裡用loggers功能
[loggers] #固定寫法 keys=root,error,info #建立三個app名,root是父類,必需存在的 [logger_root] #建立完的app名我們要定義一些規則,嚴格要求格式為"logger_appname" level=DEBUG #設定日誌級別 qualname=root #這裡在"root"appname下可以不填,所有沒獲取get的情況下預設app名都是root handlers=debugs #設定指定過濾器,多個以逗號分隔,這個名字待會兒 我們會以固定格式"handler_(value)"建立 [logger_error] level=ERROR qualname=error #除了root appname以外,定義的app名必須要設定這個屬性,用於定義列印輸出時候的app名 handlers=errors [logger_info] level=INFO qualname=INFO handlers=infos
3: 定義日誌過濾器這裡用handler功能
[handlers] #固定格式 keys=infos,errors,debugs #定義過濾器名稱,下面定義以handler_keysname格式定義,上面引用名稱必須和keys一致 [handler_infos] class=FileHandler #指定過濾器元件,詳情請看官網,這個是以檔案方式建立 level=INFO #設定級別 formatter=form01 #定義日誌列印格式,下面會建立formatters,格式也是嚴格要求formatter_keysname 建立 args=('info.log','a') #建立檔名字,以什麼方式開啟 [handler_errors] class=FileHandler level=DEBUG formatter=form02 args=('info1.log','a') [handler_debugs] class=FileHandler level=DEBUG formatter=form02 args=('info1.log','a')
3: 定義日誌輸出格式,這裡我們介紹最後一個元件formatters
[formatters] #固定格式 keys=form01,form02 #定義名稱,下面會引用格式同上 [formatter_form01] format=%(asctime)s %(filename)s %(levelname)s %(message)s #年-月-日 時-分-秒,毫秒,檔名,級別名,訊息資訊 datefmt=%Y-%m-%d %H:%M:%S #日期輸出格式 [formatter_form02] format=%(asctime)s %(filename)s %(levelname)s %(message)s datefmt=%Y-%m-%d %H:%M:%S
4: 具體程式引用
#!/usr/bin/env python import logging import logging.config logging.config.fileConfig('log.conf') logs = logging.getLogger('error') logs.error('errorsssss')
補充知識:python按照日誌等級將日誌輸出至不同的日誌檔案
將日誌按照等級分別儲存在不同的檔案中,並在控制檯同步輸出。
import os import sys import logging from logs.multiprocessloghandler import MultiprocessHandler def loggerDefine(platform,log_name): base_dir = "F:\PythonProject\\xiao_new_resources\logs" info_dir_path = base_dir + "\\info\\{}".format(platform) error_dir_path = base_dir + "\\error\\{}".format(platform) # 判斷響應的檔案是否存在 if not os.path.exists(info_dir_path): os.makedirs(info_dir_path) info_dir = os.path.join(info_dir_path,log_name) if not os.path.exists(error_dir_path): os.makedirs(error_dir_path) error_dir = os.path.join(error_dir_path,log_name) # 返回一個logger物件,如果沒有指定名字將返回root logger log = logging.getLogger('test') # 定義日誌輸出格式 formattler = '%(asctime)s|%(processName)s|%(threadName)s|%(levelname)s|%(filename)s:%(lineno)d|%(funcName)s|%(message)s' fmt = logging.Formatter(formattler) # 設定日誌控制檯輸出 stream_handler = logging.StreamHandler(sys.stdout) stream_handler.setLevel(logging.INFO) # 設定控制檯檔案輸出 log_handler_info = MultiprocessHandler(info_dir) log_handler_err = MultiprocessHandler(error_dir) # 設定日誌輸出格式: stream_handler.setFormatter(fmt) log_handler_info.setFormatter(fmt) log_handler_err.setFormatter(fmt) # 設定過濾條件 info_filter = logging.Filter() info_filter.filter = lambda record: record.levelno < logging.WARNING # 設定過濾等級 err_filter = logging.Filter() err_filter.filter = lambda record: record.levelno >= logging.WARNING # 對檔案輸出日誌新增過濾條件 log_handler_info.addFilter(info_filter) log_handler_err.addFilter(err_filter) # 對logger增加handler日誌處理器 log.addHandler(log_handler_info) log.addHandler(log_handler_err) log.addHandler(stream_handler) log.setLevel("INFO") return log if __name__ == '__main__': logg = loggerDefine("youtube","youtube.log") logg.info("info") logg.warning("warning") logg.error("error")
multiprocessloghandler原始碼:
import datetime import logging import os import re try: import codecs except ImportError: codecs = None class MultiprocessHandler(logging.FileHandler): """支援多程序的TimedRotatingFileHandler""" def __init__(self,filename,when='D',backupCount=7,encoding="utf-8",delay=False): """ filename 日誌檔名,when 時間間隔的單位,backupCount 保留檔案個數 delay 是否開啟 OutSteam快取 True 表示開啟快取,OutStream輸出到快取,待快取區滿後,重新整理快取區,並輸出快取資料到檔案。 False表示不快取,OutStrea直接輸出到檔案 """ self.prefix = filename self.backupCount = backupCount self.when = when.upper() # 正則匹配 年-月-日 # 正則寫到這裡就對了 self.extMath = r"\d{4}-\d{2}-\d{2}" # S 每秒建立一個新檔案 # M 每分鐘建立一個新檔案 # H 每天建立一個新檔案 # D 每天建立一個新檔案 self.when_dict = { 'S': "%Y-%m-%d-%H-%M-%S",'M': "%Y-%m-%d-%H-%M",'H': "%Y-%m-%d-%H",'D': "%Y-%m-%d" } # 日誌檔案日期字尾 self.suffix = self.when_dict.get(when) # 原始碼中self.extMath寫在這裡 # 這個正則匹配不應該寫到這裡,不然非D模式下 會造成 self.extMath屬性不存在的問題 # 不管是什麼模式都是按照這個正則來搜尋日誌檔案的。 # if self.when == 'D': # 正則匹配 年-月-日 # self.extMath = r"^\d{4}-\d{2}-\d{2}" if not self.suffix: raise ValueError(u"指定的日期間隔單位無效: %s" % self.when) # 拼接檔案路徑 格式化字串 self.filefmt = os.path.join(os.getcwd(),"%s.%s" % (self.prefix,self.suffix)) a = "%s.%s" % (self.prefix,self.suffix) # 使用當前時間,格式化檔案格式化字串 self.filePath = datetime.datetime.now().strftime(self.filefmt) # 獲得資料夾路徑 _dir = os.path.dirname(self.filefmt) try: # 如果日誌資料夾不存在,則建立資料夾 if not os.path.exists(_dir): os.makedirs(_dir) except Exception: print("建立資料夾失敗") print("資料夾路徑:" + self.filePath) pass if codecs is None: encoding = None # 呼叫FileHandler logging.FileHandler.__init__(self,self.filePath,'a+',encoding,delay) def shouldChangeFileToWrite(self): """更改日誌寫入目的寫入檔案 return True 表示已更改,False 表示未更改""" # 以當前時間獲得新日誌檔案路徑 _filePath = datetime.datetime.now().strftime(self.filefmt) # 新日誌檔案日期 不等於 舊日誌檔案日期,則表示 已經到了日誌切分的時候 # 更換日誌寫入目的為新日誌檔案。 # 例如 按 天 (D)來切分日誌 # 當前新日誌日期等於舊日誌日期,則表示在同一天內,還不到日誌切分的時候 # 當前新日誌日期不等於舊日誌日期,則表示不在 # 同一天內,進行日誌切分,將日誌內容寫入新日誌內。 if _filePath != self.filePath: self.filePath = _filePath return True return False def doChangeFile(self): """輸出資訊到日誌檔案,並刪除多於保留個數的所有日誌檔案""" # 日誌檔案的絕對路徑 self.baseFilename = os.path.abspath(self.filePath) # stream == OutStream # stream is not None 表示 OutStream中還有未輸出完的快取資料 if self.stream: # self.stream.flush() self.stream.close() self.stream = None # delay 為False 表示 不OutStream不快取資料 直接輸出 # 所有,只需要關閉OutStream即可 if not self.delay: # self.stream.close() self.stream = self._open() # 刪除多於保留個數的所有日誌檔案 if self.backupCount > 0: for s in self.getFilesToDelete(): # print s os.remove(s) def getFilesToDelete(self): """獲得過期需要刪除的日誌檔案""" # 分離出日誌資料夾絕對路徑 # split返回一個元組(absFilePath,fileName) # 例如:split('I:\ScripPython\char4\mybook\util\logs\mylog.2017-03-19) # 返回(I:\ScripPython\char4\mybook\util\logs, mylog.2017-03-19) # _ 表示佔位符,沒什麼實際意義, dirName,_ = os.path.split(self.baseFilename) fileNames = os.listdir(dirName) result = [] # self.prefix 為日誌檔名 列如:mylog.2017-03-19 中的 mylog # 加上 點號 . 方便獲取點號後面的日期 prefix = self.prefix prefix = _.rsplit(".",1)[0] + "." plen = len(prefix) for fileName in fileNames: if fileName[:plen] == prefix: # 日期字尾 mylog.2017-03-19 中的 2017-03-19 suffix = fileName[plen:] # 匹配符合規則的日誌檔案,新增到result列表中 if re.compile(self.extMath).match(suffix): result.append(os.path.join(dirName,fileName)) result.sort() # 返回 待刪除的日誌檔案 # 多於 保留檔案個數 backupCount的所有前面的日誌檔案。 if len(result) < self.backupCount: result = [] else: result = result[:len(result) - self.backupCount] return result def emit(self,record): """傳送一個日誌記錄 覆蓋FileHandler中的emit方法,logging會自動呼叫此方法""" try: if self.shouldChangeFileToWrite(): self.doChangeFile() logging.FileHandler.emit(self,record) except (KeyboardInterrupt,SystemExit): raise except: self.handleError(record)
以上這篇Python logging日誌模組 配置檔案方式就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。