Python自建logging模組
本章將介紹Python內建模組:日誌模組,更多內容請從參考:Python學習指南
簡單使用
最開始,我們用最短的程式碼體驗一下logging的基本功能。
import logging
logger = logging.getLogger()
logging.basicConfig()
logger.setLevel('DEBUG')
logger.debug('logsomething')
#輸出
out>>DEBG:root:logsomething
- 第一步,通過logging.getLogger函式,獲取一個loger物件,但這個物件暫時是無法使用的。
- 第二步,logging.basicConfig函式,進行一系列預設的配置,包括format、handler等。
- 第三步,logger呼叫setLevel函式定義日誌級別為DEBUG
- 最後,呼叫debug函式,輸出一條debug級別的message,顯示在了標準輸出上。
logging中的日誌級別
logging在生成日誌的時候,有一個日誌級別的機制,預設有以下幾個日誌級別:
CRITICAL = 50
ERROR = 40
WARNING = 30
INFO 20
DEBUG = 10
NOTEST = 0
每一個logger物件,都有一個日誌級別,它只會輸出高於它level的日誌。如果一個logger的level是INFO,那麼呼叫logger.debug()是無法輸出日誌的,而logger.warning()能夠輸出。
一般來說,以上的6個日誌級別完全滿足我們日常使用了。
logging中的基礎類
logging是python的一個基礎模組,它在python中的原始碼位置如下:
#主幹程式碼
/usr/lib/python2.7/logging/__init__.py
#擴充套件的handler和config
/usr/lib/pyhon2.7/logging/config.py /usr/lib/python2.7/loging/handlers.py
組成logging的主幹的幾個基礎類都在__init__.py中:
第一個基礎類LogRecord
一個LogRecord物件,對應了日誌中的一行資料。通常包含:時間、日誌級別、message資訊、當前執行的模組、行號、函式名...這些資訊都包含在一個LogRecord物件裡。
LogRecord物件可以想象成一個大字典:
class LogRecord(object):
#代表一條日誌的類 def getMessage(self): #獲取self.msg def markLogRecord(dict): #這個方法很重要,生成一個空的LogRecord,然後通過一個字典,直接更新LogReocrd中的成員變數 rv = LogRecord(None, None, "", 0, "", (), None, None) rv.__dict__.update(dict) return rv
第二個基礎類Formatter
Formatter物件是用來定義日誌格式的,LogRecord儲存了很多資訊,但是列印日誌的時候我們只需要其中幾個,Formatter就提供了這樣的功能,它依賴於python的一個功能:
#通過字典的方式,輸出格式化字串
print('%(name)s:%(num)d'%{'name':'my_name', 'num' : 100}) out >>>my_name:100
如果說LogRecord是後面的那個字典,那麼Formatter就是前面的那個格式字串...的抽象
重要的程式碼如下:
class Formatter(object):
def __init__(self, fmt=None, datefmt = None): if fmt: self._fmt = fmt else: #預設的format self._fmt = "%(message)s" def format(self, record) #使用self._fmt進行格式化 s = self._fmt %record.__dict__ return s
第三個基礎類Filter和Filterer
Filter類,功能很簡單。Filter.filter()函式傳入一個LogRecord物件,通過篩選返回1,否則返回0.從程式碼中可以看到,其實是對LogRecord.name的篩選。
Filterer類中有一個Filter物件的列表,它是一組Filter的抽象。
重要的程式碼如下:
class Filter(object):
def __init__(self, name=''): self.name = name self.nlen = len(name) def filter(self, record): #返回1表示record通過,0表示record不通過 if self.nlen == 0: return 1 elif self.name == record.name: return 1 #record.name不是以filter開頭 elif record.name.find(self.name, 0, self.nlen) != 0: return 0 #最後一位是否為 return (record.name[self.nlen] == '.') class Filterer(object): #這個類其實是定義了一個self.filters = []的列表管理多個filter def addFilter(self, filter): def removefilter(self, filter): def filter(self, record): #使用列表中所有的filter進行篩選,任何一個失敗都會返回0 #例如: #filter.name = 'A', filter2.name='A.B', filter2.name = 'A, B, C' #此時record.name = 'A,B,C,D'這樣的record才能通過所有filter的篩選
logging中的高階類
有了以上三個基礎的類,就可以拼湊一些更重要的高階類了,高階類可以實現logging的重要功能。
Handler——抽象了log的輸出過程
- Handler類繼承自Filterer。Handler類時log輸出這個過程的抽象。
- 同時Handler類具有一個成員變數self.level,在第二節討論的日誌級別的機制,就是在Handler中實現的。
- Handler有一個emit(record)函式,這個函式負責輸出log,必須在Handler的子類中實現。
重要程式碼如下:
class Handler(Filterer):
def __init__(self, level = NOTEST) #handler必須有level屬性 self.level = _checkLevel(level) def format(self, record): #使用self.formatter, formattercord def handler(self, record): #如果通過filter的篩選,則emit這條log rv = self.filter(record) self.emit(record) def emit(self, record): #等待子類去實現
接下來看兩個簡單的handler的子類,其中在logging原始碼中,有一個handler.py專門定義了很多複雜的handler,有的可以將log快取在記憶體中,有的可以將log做rotation等。
StreamHandler
最簡單的handler實現,將log寫入一個流,預設的stream是sys.stderr
重要的程式碼如下:
class StreamHandler(Handler):
def __init__(self, stream = None): if stream is None: stream = sys.stderr self.stream = stream def emit(self, record): #將record的資訊寫入流 #處理一些編碼的異常 fs = '%s\n' #每條日誌都有換行 stream = self.stream stream.write(fs%msg)
FileHandler
將log輸出到檔案的handler,繼承StreamHandler
重要程式碼如下:
class FileHandler(StreamHandler):
def __init__(self, filename, mode='a') #append方式開啟一個檔案 StreamHandler.__init__(self, self._open()) def emit(self, record): #和streamhandler保持一致 StreamHandler.emit(self, record)
Logger——一個獨立的log管道
什麼是logger?
+ logger類繼承自Filterer,
+ logger物件有logger.level日誌級別
+ logger物件控制多個handler:logger.handlers = []
+ logger物件之間存在福字關係
簡單的來說,logger這個類,集中了我們以上所有的LogRecord、Filter類、Formatter類、handler類。首先,logger根據輸入生成一個LogRecord讀寫,經過Filter和Formatter之後,再通過self.handlers列表中的所有handler,把log傳送出去。一個logger中可能有多個handler,可以實現把一份log放到任意的位置。
class Logger(Filterer):
def __init__(self, name, level=NOTEST) #handler列表 self.handlers = [] self.level = _checklevel(level) def addHandler(self, hdlr): def removeHandler(self, hdlr): def _log(self, level, msg, args, exc_info=None, extra=None): #在_log函式中建立了一個LogRecord物件 record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra) #交給handle函式 self.handle(record) def handle(self, reord): #進行filter,然後呼叫callHandlers if(not self.disabled) and self.filter(record): self.callHandlers(record) def callHandlers(self, record): #從當前logger到所有的父logger,遞迴的handl傳入的record c = self while c: for hdlr in c.handlers: hdlr.handle(record) #進入handler的emit函式傳送log .... c = c.parent
LoggerAdapter——對標準logger的一個擴充套件
LogRecord這個大字典中提供的成員變數已經很多,但是,如果在輸出log時候仍然希望能夠夾帶一些自己想要看到的更多資訊,例如產生這個log的時候,呼叫某些函式去獲得其他資訊,那麼就可以把這些新增到Logger中,LoggerAdapter這個類就起到這個作用。
LoggerAdapter這個類很有意思,如果不做什麼改動,那麼LoggerAdapter類和Logger並沒有什麼區別。LoggerAdapter只是對Logger類進行了一下包裝。
LoggerAdapter的用法其實是在它的成員函式process()的註釋中已經說明了:
def process(self, msg, kwargs):
''' Normally,you'll only need to overwrite this one method in a LoggerAdapter subclass for your specific needs. '''
也就是說重寫process函式,以下是一個例子:
import logging
import random
L=logging.getLogger('name')
#定義一個函式,生成0~1000的隨機數
def func(): return random.randint(1,1000) class myLogger(logging.LoggerAdapter): #繼承LoggerAdapter,重寫process,生成隨機數新增到msg前面 def process(self,msg,kwargs): return '(%d),%s' % (self.extra['name'](),msg) ,kwargs #函式物件放入字典中傳入 LA=myLogger(L,{'name':func}) #now,do some logging LA.debug('some_loging_messsage') out>>DEBUG:name:(167),some_loging_messsage