2. 程式人生 > 實用技巧 >python之logging日誌模組

python之logging日誌模組

阿新 • • 發佈：2020-08-03

python之logging日誌模組

1.logging模組簡介

用Python寫程式碼的時候，在想看的地方寫個print xx 就能在控制檯上顯示列印資訊，這樣子就能知道它是什麼了，但是當我需要看大量的地方或者在一個檔案中檢視的時候，這時候print就不大方便了，所以Python引入了logging模組來記錄我想要的資訊。print也可以輸入日誌，logging相對print來說更好控制輸出在哪個地方，怎麼輸出及控制訊息級別來過濾掉那些不需要的資訊。logging模組是Python內建的標準模組，主要用於輸出執行日誌，可以設定輸出日誌的等級、日誌儲存路徑、日誌檔案回滾等；相比print，具備如下優點：

  • 可以通過設定不同的日誌等級，在release版本中只輸出重要資訊，而不必顯示大量的除錯資訊；
  • print將所有資訊都輸出到標準輸出中，嚴重影響開發者從標準輸出中檢視其它資料；logging則可以由開發者決定將資訊輸出到什麼地方，以及怎麼輸出；

2.日誌等級

logging日誌一共分為5個等級，它們分別是：

  • CRITICAL：列印critical級別,一個嚴重的錯誤,這表明程式本身可能無法繼續執行；
  • ERROR：列印error,critical級別的日誌,更嚴重的問題,軟體沒能執行一些功能；
  • WARNING：列印warning,error,critical級別的日誌,一個跡象表明,一些意想不到的事情發生了,或表明一些問題在不久的將來(例如。磁碟空間低”),這個軟體還能按預期工作；
  • INFO：列印info,warning,error,critical級別的日誌,確認一切按預期執行；
  • DEBUG：列印全部的日誌,詳細的資訊,通常只出現在診斷問題上。

從優先順序來看，它們的排序為：

CRITICAL > ERROR > WARNING > INFO > DEBUG

不同等級日誌使用範圍：

  • FATAL：致命錯誤
  • CRITICAL：特別糟糕的事情，如記憶體耗盡、磁碟空間為空，一般很少使用
  • ERROR：發生錯誤時，如IO操作失敗或者連線問題
  • WARNING：發生很重要的事件，但是並不是錯誤時，如使用者登入密碼錯誤
  • INFO：處理請求或者狀態變化等日常事務
  • DEBUG：除錯過程中使用DEBUG等級，如演算法中每個迴圈的中間狀態

3.部分名詞解釋

  • Logging.Formatter：這個類配置了日誌的格式，在裡面自定義設定日期和時間，輸出日誌的時候將會按照設定的格式顯示內容。
  • Logging.Logger：Logger是Logging模組的主體，進行以下三項工作：
    • \1. 為程式提供記錄日誌的介面
    • \2. 判斷日誌所處級別，並判斷是否要過濾
    • \3. 根據其日誌級別將該條日誌分發給不同handler
  • 常用函式有：
    • Logger.setLevel() 設定日誌級別
    • Logger.addHandler() 和 Logger.removeHandler() 新增和刪除一個Handler
    • Logger.addFilter() 新增一個Filter,過濾作用
    • Logging.Handler：Handler基於日誌級別對日誌進行分發，如設定為WARNING級別的Handler只會處理WARNING及以上級別的日誌。
  • 常用函式有：
    • setLevel() 設定級別
    • setFormatter() 設定Formatter

4.基本使用

配置logging基本的設定，然後在控制檯輸出日誌，程式碼如下：

import logging
logging.basicConfig(level = logging.WARNING,format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)

logger.info("郭富城")
logger.debug("黎明")
logger.warning("張學友")
logger.info("劉德華")

執行時輸出：

2020-07-30 11:20:17,690 - __main__ - WARNING - 張學友

如果把程式碼第二行的日誌輸出等級改變為DEBUG，則輸出為：

2020-07-30 11:23:17,306 - __main__ - INFO - 郭富城
2020-07-30 11:23:17,306 - __main__ - DEBUG - 黎明
2020-07-30 11:23:17,306 - __main__ - WARNING - 張學友
2020-07-30 11:23:17,306 - __main__ - INFO - 劉德華

其中，還使用了一些引數，

%(asctime)s：列印日誌的時間
%()s：__main__
%(levelname)s：列印日誌級別的名稱
%(message)s：列印日誌資訊

除此之外，還有：

%(levelno)s：列印日誌級別的數值
%(pathname)s：列印當前執行程式的路徑，其實就是sys.argv[0]
%(filename)s：列印當前執行程式名
%(funcName)s：列印日誌的當前函式
%(lineno)d：列印日誌的當前行號
%(thread)d：列印執行緒ID
%(threadName)s：列印執行緒名稱
%(process)d：列印程序ID

5.將日誌寫入到檔案

import logging
logger = logging.getLogger(__name__)
logger.setLevel(level = logging.DEBUG)
handler = logging.FileHandler("log.txt")
handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)
logger.addHandler(console)

logger.info("郭富城")
logger.debug("黎明")
logger.warning("張學友")
logger.info("劉德華")

log.txt中的輸出為：

2020-07-30 11:33:36,183 - __main__ - INFO - 郭富城
2020-07-30 11:33:36,183 - __main__ - WARNING - 張學友
2020-07-30 11:33:36,183 - __main__ - INFO - 劉德華

可以發現，logging有一個日誌處理的主物件，其他處理方式都是通過addHandler新增進去，logging中包含的handler主要有如下幾種：

#handler名稱：位置；作用

StreamHandler：logging.StreamHandler；日誌輸出到流，可以是sys.stderr，sys.stdout或者檔案
FileHandler：logging.FileHandler；日誌輸出到檔案
BaseRotatingHandler：logging.handlers.BaseRotatingHandler；基本的日誌回滾方式
RotatingHandler：logging.handlers.RotatingHandler；日誌回滾方式，支援日誌檔案最大數量和日誌檔案回滾
TimeRotatingHandler：logging.handlers.TimeRotatingHandler；日誌回滾方式，在一定時間區域內回滾日誌檔案
SocketHandler：logging.handlers.SocketHandler；遠端輸出日誌到TCP/IP sockets
DatagramHandler：logging.handlers.DatagramHandler；遠端輸出日誌到UDP sockets
SMTPHandler：logging.handlers.SMTPHandler；遠端輸出日誌到郵件地址
SysLogHandler：logging.handlers.SysLogHandler；日誌輸出到syslog
NTEventLogHandler：logging.handlers.NTEventLogHandler；遠端輸出日誌到Windows NT/2000/XP的事件日誌
MemoryHandler：logging.handlers.MemoryHandler；日誌輸出到記憶體中的指定buffer
HTTPHandler：logging.handlers.HTTPHandler；通過"GET"或者"POST"遠端輸出到HTTP伺服器

6.多模組使用logging

  • 主模組
#mainModule.py
import logging
import subModule
logger = logging.getLogger("mainModule")
logger.setLevel(level = logging.INFO)
handler = logging.FileHandler("log.txt")
handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

console = logging.StreamHandler()
console.setLevel(logging.INFO)
console.setFormatter(formatter)

logger.addHandler(handler)
logger.addHandler(console)


logger.info("creating an instance of subModule.subModuleClass")
a = subModule.SubModuleClass()
logger.info("calling subModule.subModuleClass.doSomething")
a.doSomething()
logger.info("done with  subModule.subModuleClass.doSomething")
logger.info("calling subModule.some_function")
subModule.som_function()
logger.info("done with subModule.some_function")
  • 子模組
import logging

module_logger = logging.getLogger("mainModule.sub")
class SubModuleClass(object):
    def __init__(self):
        self.logger = logging.getLogger("mainModule.sub.module")
        self.logger.info("creating an instance in SubModuleClass")
    def doSomething(self):
        self.logger.info("do something in SubModule")
        a = []
        a.append(1)
        self.logger.debug("list a = " + str(a))
        self.logger.info("finish something in SubModuleClass")

def som_function():
    module_logger.info("call function some_function")

執行時候，我們可以在log.txt中看到以下內容：

2020-07-30 11:40:16,506 - mainModule - INFO - creating an instance of subModule.subModuleClass
2020-07-30 11:40:16,506 - mainModule.sub.module - INFO - creating an instance in SubModuleClass
2020-07-30 11:40:16,506 - mainModule - INFO - calling subModule.subModuleClass.doSomething
2020-07-30 11:40:16,506 - mainModule.sub.module - INFO - do something in SubModule
2020-07-30 11:40:16,506 - mainModule.sub.module - INFO - finish something in SubModuleClass
2020-07-30 11:40:16,506 - mainModule - INFO - done with  subModule.subModuleClass.doSomething
2020-07-30 11:40:16,506 - mainModule - INFO - calling subModule.some_function
2020-07-30 11:40:16,506 - mainModule.sub - INFO - call function some_function
2020-07-30 11:40:16,506 - mainModule - INFO - done with subModule.some_function

首先在主模組定義了logger'mainModule'，並對它進行了配置，就可以在直譯器程序裡面的其他地方通過getLogger('mainModule')得到的物件都是一樣的，不需要重新配置，可以直接使用。定義的該logger的子logger，都可以共享父logger的定義和配置，所謂的父子logger是通過命名來識別，任意以'mainModule'開頭的logger都是它的子logger，例如'mainModule.sub'。

實際開發一個application，首先可以通過logging配置檔案編寫好這個application所對應的配置，可以生成一個根logger，如'PythonAPP'，然後在主函式中通過fileConfig載入logging配置，接著在application的其他地方、不同的模組中，可以使用根logger的子logger，如'PythonAPP.Core'，'PythonAPP.Web'來進行log，而不需要反覆的定義和配置各個模組的logger。

7.通過JSON或者YAML檔案配置logging模組

儘管可以在Python程式碼中配置logging，但是這樣並不夠靈活，最好的方法是使用一個配置檔案來配置。以從字典中載入logging配置，也就意味著可以通過JSON或者YAML檔案載入日誌的配置。

  • json配置檔案
{
    "version":1,
    "disable_existing_loggers":false,
    "formatters":{
        "simple":{
            "format":"%(asctime)s - %(name)s - %(levelname)s - %(message)s"
        }
    },
    "handlers":{
        "console":{
            "class":"logging.StreamHandler",
            "level":"DEBUG",
            "formatter":"simple",
            "stream":"ext://sys.stdout"
        },
        "info_file_handler":{
            "class":"logging.handlers.RotatingFileHandler",
            "level":"INFO",
            "formatter":"simple",
            "filename":"info.log",
            "maxBytes":"10485760",
            "backupCount":20,
            "encoding":"utf8"
        },
        "error_file_handler":{
            "class":"logging.handlers.RotatingFileHandler",
            "level":"ERROR",
            "formatter":"simple",
            "filename":"errors.log",
            "maxBytes":10485760,
            "backupCount":20,
            "encoding":"utf8"
        }
    },
    "loggers":{
        "my_module":{
            "level":"ERROR",
            "handlers":["info_file_handler"],
            "propagate":"no"
        }
    },
    "root":{
        "level":"INFO",
        "handlers":["console","info_file_handler","error_file_handler"]
    }
}

通過載入json檔案，，然後使用logging.dictConfig來配置logging。

import json
import logging.config
import os

def setup_logging(default_path = "logging.json",default_level = logging.INFO,env_key = "LOG_CFG"):
    path = default_path
    value = os.getenv(env_key,None)
    if value:
        path = value
    if os.path.exists(path):
        with open(path,"r") as f:
            config = json.load(f)
            logging.config.dictConfig(config)
    else:
        logging.basicConfig(level = default_level)

def func():
    logging.info("start func")

    logging.info("exec func")

    logging.info("end func")

if __name__ == "__main__":
    setup_logging(default_path = "logging.json")
    func()

除此之外，logging.dictConfig還支援yaml檔案來配置。

參考檔案：

Python標準模組--logging

python中logging模組的一些簡單用法

相關推薦

python之logging日誌模組

python之logging日誌模組 1.logging模組簡介 用Python寫程式碼的時候，在想看的地方寫個print xx 就能在控制檯上顯示列印資訊，這樣子就能知道它是什麼了，但是當我需要看大量的地方或者在一個檔案中檢視的時候，這時

python封裝logging日誌模組，與selenium連用

推薦一篇博主部落格：https://www.cnblogs.com/CJOKER/p/8295272.html 它裡面講述了日誌的顯示順序、如何在控制檯進行顯示，以及檔案配置都挺詳細的，可以先看看推薦的內容 我這邊按專案的情況對使用的日誌模組進行了

Python 中 logging 日誌模組在多程序環境下的使用

技術標籤：pythonlinux多程序logging記憶體洩漏 最近爬蟲遇到了一個控制代碼洩露的問題

python logging日誌模組原理及操作解析

一、基本介紹 logging 模組是python自帶的一個包，因此在使用的時候，不必安裝，只需要import即可。

Python logging日誌模組 配置檔案方式

在一些微服務或web服務中我們難免需要日誌功能,用來記錄一些使用者的登入記錄,操作記錄,以及一些程式的崩潰定位,執行訪問定位等等;

【python介面自動化】- logging日誌模組

前言：我們之前執行程式碼時都是將日誌直接輸出到控制檯，而實際專案中常常需要把日誌儲存到檔案，便於查閱，如執行時間、描述資訊以及錯誤或者異常發生時候的特定上下文資訊。

python之 logging 模組（上篇）

一、日誌關概念 日誌是一種可以追蹤某些軟體執行時所發生事件的方法。軟體開發人員可以向他們的程式碼中呼叫日誌記錄相關的方法來表明發生了某些事情。一個事件可以用一個可包含可選變數資料的訊息來描述。此外，事件

python之logging 模組（下篇）

四、日誌處理流程（第二種日誌使用方式） 上面簡單配置的方法例子中我們瞭解到了logging.debug()、logging.info()、logging.warning()、logging.error()、logging.critical()（分別用以記錄不同級別的日誌資訊），lo

Python強大的日誌模組logging

前言 日誌是對於軟體執行所發生的事件的一種追蹤記錄方式。日常使用過程中對程式碼執行的錯誤和問題會進行檢視日誌來分析定位問題所在。平常編寫程式碼以及除錯也經常用到。通常的新手的做法是直接print列印，但是列

Python中的logging日誌模組

import os,sys,logging from logging import handlers class Loggers(object): # 日誌級別關係對映 level_relations = {

unittest(8):Python介面自動化之logging日誌

一日誌介紹 01 為什麼需要日誌？ 程式碼需要經歷開發、除錯、審查、測試或者上線等不同階段，在開發時想要列印的資訊型別可能和上線後想看到的資訊型別完全不同。也就是說，在“測試”時，可能只想看警告和錯誤資訊

（轉）python logging日誌模組以及多程序日誌

原文：https://www.jianshu.com/p/d615bf01e37b 本篇文章主要對 python logging 的介紹加深理解。更主要是 討論在多程序環境下如何使用logging 來輸出日誌， 如何安全地切分日誌檔案。

『無為則無心』Python日誌 — 67、logging日誌模組處理流程

目錄1、概括理解2、詳細說明3、應用示例 1、概括理解 瞭解了四大元件的基本定義之後，我們通過圖示的方式來理解下資訊的傳遞過程：

『無為則無心』Python日誌 — 68、logging日誌模組的封裝

目錄1、日誌模組封裝2、日誌模組的呼叫 1、日誌模組封裝 首先我們把之前學過的程式碼語句封裝到模組的方法中。

python 包之 logging 日誌處理教程

一、基本方法 預設情況下日誌列印只顯示大於等於 WARNING 級別的日誌 FATAL：致命錯誤

Python中logging日誌庫例項詳解

logging的簡單使用 用作記錄日誌，預設分為六種日誌級別（括號為級別對應的數值）

python中的日誌模組（一）

#日誌類import osimport loggingcurrent_path = os.path.dirname(__file__)log_path = os.path.join(current_path, \'../log/testpython.log\')class logUtil:def __init__(self,logfile_path=log_path):self.logfil

Python中logger日誌模組詳解

1 logging模組簡介 logging模組是Python內建的標準模組，主要用於輸出執行日誌，可以設定輸出日誌的等級、日誌儲存路徑、日誌檔案回滾等；相比print，具備如下優點：

Python中logging日誌記錄到檔案及自動分割的操作程式碼

日誌作為專案開發和執行中必備元件，python提供了內建的logging模組來完成這個工作；藉助 TimedRotatingFileHandler 可以按日期自動分割日誌，自動保留日誌檔案數量等，下面是對日誌的一個簡單封裝和測試。

Python之SSH-paramiko模組的使用

paramiko 一 介紹 # 用於幫助開發者通過程式碼遠端連線伺服器，並對伺服器進行操作。