Python + logging 輸出到螢幕,將log日誌寫入檔案
日誌
日誌是跟蹤軟體執行時所發生的事件的一種方法。軟體開發者在程式碼中呼叫日誌函式,表明發生了特定的事件。事件由描述性訊息描述,該描述性訊息可以可選地包含可變資料(即,對於事件的每次出現都潛在地不同的資料)。事件還具有開發者歸因於事件的重要性;重要性也可以稱為級別或嚴重性。
logging提供了一組便利的函式,用來做簡單的日誌。它們是 debug()、 info()、 warning()、 error() 和 critical()。
logging函式根據它們用來跟蹤的事件的級別或嚴重程度來命名。標準級別及其適用性描述如下(以嚴重程度遞增排序):
級別 | 何時使用 |
---|---|
DEBUG |
詳細資訊,一般只在除錯問題時使用。 |
INFO |
證明事情按預期工作。 |
WARNING |
某些沒有預料到的事件的提示,或者在將來可能會出現的問題提示。例如:磁碟空間不足。但是軟體還是會照常執行。 |
ERROR |
由於更嚴重的問題,軟體已不能執行一些功能了。 |
CRITICAL |
嚴重錯誤,表明軟體已不能繼續運行了。 |
級別 | 數字值 |
---|---|
CRITICAL |
50 |
ERROR |
40 |
WARNING |
30 |
INFO |
20 |
DEBUG |
10 |
NOTSET |
0 |
預設等級是WARNING
,這意味著僅僅這個等級及以上的才會反饋資訊,除非logging模組被用來做其它事情。
被跟蹤的事件能以不同的方式被處理。最簡單的處理方法就是把它們在控制檯上打印出來。另一種常見的方法就是寫入磁碟檔案。
一、列印到控制檯
import logging logging.debug('debug 資訊') logging.warning('只有這個會輸出。。。') logging.info('info 資訊')
由於預設設定的等級是warning,所有隻有warning的資訊會輸出到控制檯。
WARNING:root:只有這個會輸出。。。
利用logging.basicConfig()列印資訊到控制檯
import logging logging.basicConfig(format='%(asctime)s - %(pathname)s[line:%(lineno)d] - %(levelname)s: %(message)s', level=logging.DEBUG) logging.debug('debug 資訊') logging.info('info 資訊') logging.warning('warning 資訊') logging.error('error 資訊') logging.critical('critial 資訊')
由於在logging.basicConfig()中的level 的值設定為logging.DEBUG, 所有debug, info, warning, error, critical 的log都會列印到控制檯。
日誌級別: debug < info < warning < error < critical logging.debug('debug級別,最低級別,一般開發人員用來列印一些除錯資訊') logging.info('info級別,正常輸出資訊,一般用來列印一些正常的操作') logging.warning('waring級別,一般用來列印警資訊') logging.error('error級別,一般用來列印一些錯誤資訊') logging.critical('critical 級別,一般用來列印一些致命的錯誤資訊,等級最高')
所以如果設定level = logging.info()的話,debug 的資訊則不會輸出到控制檯。
二、利用logging.basicConfig()儲存log到檔案
logging.basicConfig(level=logging.DEBUG,#控制檯列印的日誌級別 filename='new.log', filemode='a',##模式,有w和a,w就是寫模式,每次都會重新寫日誌,覆蓋之前的日誌 #a是追加模式,預設如果不寫的話,就是追加模式 format= '%(asctime)s - %(pathname)s[line:%(lineno)d] - %(levelname)s: %(message)s' #日誌格式 )
如果在logging.basicConfig()設定filename 和filemode,則只會儲存log到檔案,不會輸出到控制檯。
三、既往螢幕輸入,也往檔案寫入log
logging庫採取了模組化的設計,提供了許多元件:記錄器、處理器、過濾器和格式化器。
- Logger 暴露了應用程式程式碼能直接使用的介面。
- Handler將(記錄器產生的)日誌記錄傳送至合適的目的地。
- Filter提供了更好的粒度控制,它可以決定輸出哪些日誌記錄。
- Formatter 指明瞭最終輸出中日誌記錄的佈局。
Loggers:
Logger 物件要做三件事情。首先,它們嚮應用程式碼暴露了許多方法,這樣應用可以在執行時記錄訊息。其次,記錄器物件通過嚴重程度(預設的過濾設施)或者過濾器物件來決定哪些日誌訊息需要記錄下來。第三,記錄器物件將相關的日誌訊息傳遞給所有感興趣的日誌處理器。
常用的記錄器物件的方法分為兩類:配置和傳送訊息。
這些是最常用的配置方法:
Logger.setLevel()指定logger將會處理的最低的安全等級日誌資訊, debug是最低的內建安全等級,critical是最高的內建安全等級。例如,如果嚴重程度為INFO,記錄器將只處理INFO,WARNING,ERROR和CRITICAL訊息,DEBUG訊息被忽略。 Logger.addHandler()和Logger.removeHandler()從記錄器物件中新增和刪除處理程式物件。處理器詳見Handlers。 Logger.addFilter()和Logger.removeFilter()從記錄器物件新增和刪除過濾器物件。
Handlers
處理程式
物件負責將適當的日誌訊息(基於日誌訊息的嚴重性)分派到處理程式的指定目標。Logger
物件可以通過addHandler()
方法增加零個或多個handler物件。舉個例子,一個應用可以將所有的日誌訊息傳送至日誌檔案,所有的錯誤級別(error)及以上的日誌訊息傳送至標準輸出,所有的嚴重級別(critical)日誌訊息傳送至某個電子郵箱。在這個例子中需要三個獨立的處理器,每一個負責將特定級別的訊息傳送至特定的位置。
常用的有4種:
1) logging.StreamHandler -> 控制檯輸出
使用這個Handler可以向類似與sys.stdout或者sys.stderr的任何檔案物件(file object)輸出資訊。
它的建構函式是: StreamHandler([strm]) 其中strm引數是一個檔案物件。預設是sys.stderr
2) logging.FileHandler -> 檔案輸出
和StreamHandler類似,用於向一個檔案輸出日誌資訊。不過FileHandler會幫你開啟這個檔案。它的建構函式是: FileHandler(filename[,mode]) filename是檔名,必須指定一個檔名。 mode是檔案的開啟方式。預設是’a',即新增到檔案末尾。
3) logging.handlers.RotatingFileHandler -> 按照大小自動分割日誌檔案,一旦達到指定的大小重新生成檔案
這個Handler類似於上面的FileHandler,但是它可以管理檔案大小。當檔案達到一定大小之後,它會自動將當前日誌檔案改名,然後建立 一個新的同名日誌檔案繼續輸出。比如日誌檔案是chat.log。當chat.log達到指定的大小之後,RotatingFileHandler自動把 檔案改名為chat.log.1。不過,如果chat.log.1已經存在,會先把chat.log.1重新命名為chat.log.2。。。最後重新建立 chat.log,繼續輸出日誌資訊。它的建構函式是: RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]]) 其中filename和mode兩個引數和FileHandler一樣。 maxBytes用於指定日誌檔案的最大檔案大小。如果maxBytes為0,意味著日誌檔案可以無限大,這時上面描述的重新命名過程就不會發生。 backupCount用於指定保留的備份檔案的個數。比如,如果指定為2,當上面描述的重新命名過程發生時,原有的chat.log.2並不會被更名,而是被刪除。
4) logging.handlers.TimedRotatingFileHandler -> 按照時間自動分割日誌檔案
這個Handler和RotatingFileHandler類似,不過,它沒有通過判斷檔案大小來決定何時重新建立日誌檔案,而是間隔一定時間就 自動建立新的日誌檔案。重新命名的過程與RotatingFileHandler類似,不過新的檔案不是附加數字,而是當前時間。它的建構函式是: TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]]) 其中filename引數和backupCount引數和RotatingFileHandler具有相同的意義。 interval是時間間隔。 when引數是一個字串。表示時間間隔的單位,不區分大小寫。它有以下取值: S 秒 M 分 H 小時 D 天 W 每星期(interval==0時代表星期一) midnight 每天凌晨
配置方法:
setLevel()
方法和日誌物件的一樣,指明瞭將會分發日誌的最低級別。為什麼會有兩個setLevel()
方法?記錄器的級別決定了訊息是否要傳遞給處理器。每個處理器的級別決定了訊息是否要分發。setFormatter()
為該處理器選擇一個格式化器。addFilter()
和removeFilter()
分別配置和取消配置處理程式上的過濾器物件。
Formatters
Formatter物件設定日誌資訊最後的規則、結構和內容,預設的時間格式為%Y-%m-%d %H:%M:%S,下面是Formatter常用的一些資訊
%(name)s |
Logger的名字 |
%(levelno)s |
數字形式的日誌級別 |
%(levelname)s |
文字形式的日誌級別 |
%(pathname)s |
呼叫日誌輸出函式的模組的完整路徑名,可能沒有 |
%(filename)s |
呼叫日誌輸出函式的模組的檔名 |
%(module)s |
呼叫日誌輸出函式的模組名 |
%(funcName)s |
呼叫日誌輸出函式的函式名 |
%(lineno)d |
呼叫日誌輸出函式的語句所在的程式碼行 |
%(created)f |
當前時間,用UNIX標準的表示時間的浮 點數表示 |
%(relativeCreated)d |
輸出日誌資訊時的,自Logger建立以 來的毫秒數 |
%(asctime)s |
字串形式的當前時間。預設格式是 “2003-07-08 16:49:45,896”。逗號後面的是毫秒 |
%(thread)d |
執行緒ID。可能沒有 |
%(threadName)s |
執行緒名。可能沒有 |
%(process)d |
程序ID。可能沒有 |
%(message)s |
使用者輸出的訊息 |
需求:
輸出log到控制檯以及將日誌寫入log檔案。 儲存2種類型的log, all.log 儲存debug, info, warning, critical 資訊, error.log則只儲存error資訊,同時按照時間自動分割日誌檔案。
import logging from logging import handlers class Logger(object): level_relations = { 'debug':logging.DEBUG, 'info':logging.INFO, 'warning':logging.WARNING, 'error':logging.ERROR, 'crit':logging.CRITICAL }#日誌級別關係對映 def __init__(self,filename,level='info',when='D',backCount=3,fmt='%(asctime)s - %(pathname)s[line:%(lineno)d] - %(levelname)s: %(message)s'): self.logger = logging.getLogger(filename) format_str = logging.Formatter(fmt)#設定日誌格式 self.logger.setLevel(self.level_relations.get(level))#設定日誌級別 sh = logging.StreamHandler()#往螢幕上輸出 sh.setFormatter(format_str) #設定螢幕上顯示的格式 th = handlers.TimedRotatingFileHandler(filename=filename,when=when,backupCount=backCount,encoding='utf-8')#往檔案裡寫入#指定間隔時間自動生成檔案的處理器 #例項化TimedRotatingFileHandler #interval是時間間隔,backupCount是備份檔案的個數,如果超過這個個數,就會自動刪除,when是間隔的時間單位,單位有以下幾種: # S 秒 # M 分 # H 小時、 # D 天、 # W 每星期(interval==0時代表星期一) # midnight 每天凌晨 th.setFormatter(format_str)#設定檔案裡寫入的格式 self.logger.addHandler(sh) #把物件加到logger裡 self.logger.addHandler(th) if __name__ == '__main__': log = Logger('all.log',level='debug') log.logger.debug('debug') log.logger.info('info') log.logger.warning('警告') log.logger.error('報錯') log.logger.critical('嚴重') Logger('error.log', level='error').logger.error('error')
螢幕上的結果如下:
2018-03-13 21:06:46,092 - D:/write_to_log.py[line:25] - DEBUG: debug 2018-03-13 21:06:46,092 - D:/write_to_log.py[line:26] - INFO: info 2018-03-13 21:06:46,092 - D:/write_to_log.py[line:27] - WARNING: 警告 2018-03-13 21:06:46,099 - D:/write_to_log.py[line:28] - ERROR: 報錯 2018-03-13 21:06:46,099 - D:/write_to_log.py[line:29] - CRITICAL: 嚴重 2018-03-13 21:06:46,100 - D:/write_to_log.py[line:30] - ERROR: error
由於when=D,新生成的檔名上會帶上時間,如下所示。
官網的例子非常有用
記錄變數資料
要記錄變數資料,請使用格式字串作為事件描述訊息,並將變數資料作為引數附加。例如:
import logging
logging.warning('%s before you %s', 'Look', 'leap!')