1. 程式人生 > 其它 >python各種模組(3)

python各種模組(3)

python模組(3)

日誌模組

基本配置

"""提前寫好了主體 cv簡單修改即可"""

import logging
import logging.config
# 定義日誌輸出格式 開始
standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]' \
                  '[%(levelname)s][%(message)s]' #其中name為getlogger指定的名字
simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
# 定義日誌輸出格式 結束

# 自定義檔案路徑
logfile_path = 'a3.log'

# log配置字典
LOGGING_DIC = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'standard': {
            'format': standard_format
        },
        'simple': {
            'format': simple_format
        },
    },
    'filters': {},  # 過濾日誌
    'handlers': {
        #列印到終端的日誌
        'console': {
            'level': 'DEBUG',
            'class': 'logging.StreamHandler',  # 列印到螢幕
            'formatter': 'simple'
        },
        #列印到檔案的日誌,收集info及以上的日誌
        'default': {
            'level': 'DEBUG',
            'class': 'logging.handlers.RotatingFileHandler',  # 儲存到檔案
            'formatter': 'standard',
            'filename': logfile_path,  # 日誌檔案
            'maxBytes': 1024*1024*5,  # 日誌大小 5M
            'backupCount': 5,
            'encoding': 'utf-8',  # 日誌檔案的編碼,再也不用擔心中文log亂碼了
        },
    },
    'loggers': {
        #logging.getLogger(__name__)拿到的logger配置
        '': {
            'handlers': ['default', 'console'],  # 這裡把上面定義的兩個handler都加上,即log資料既寫入檔案又列印到螢幕
            'level': 'DEBUG',
            'propagate': True,  # 向上(更高level的logger)傳遞
        },  # 當鍵不存在的情況下 (key設為空字串)預設都會使用該k:v配置
        # '註冊記錄': {
        #     'handlers': ['console'],  # 這裡把上面定義的兩個handler都加上,即log資料既寫入檔案又列印到螢幕
        #     'level': 'WARNING',
        #     'propagate': True,  # 向上(更高level的logger)傳遞
        # },  # 當鍵不存在的情況下 (key設為空字串)預設都會使用該k:v配置
    },
}



# 使用日誌字典配置
logging.config.dictConfig(LOGGING_DIC)  # 自動載入字典中的配置
logger1 = logging.getLogger('轉賬記錄')
logger2 = logging.getLogger('註冊記錄')
logger1.debug('輸出內容1')
logger2.warning('輸出內容2')


logging.config.dictConfig(LOGGING_DIC)  # 自動載入字典中的配置
logger1 = logging.getLogger('轉賬記錄')
'''loggers配置中使用空字串作為字典的鍵 相容性最好!!!'''
logger1.debug('輸出內容')

配置字典在專案中使用

# 按照軟體開發目錄規範編寫使用
日誌字典資料應該放在哪個py檔案內
	字典資料是日誌模組固定的配置 寫完一次之後幾乎都不需要動
  它屬於配置檔案
  """配置檔案中變數名推薦全大寫"""
該案例能夠帶你搞明白軟體開發目錄規範中所有py檔案的真正作用

def get_logger(msg):
    # 記錄日誌
    logging.config.dictConfig(settings.LOGGING_DIC)  # 自動載入字典中的配置
    logger1 = logging.getLogger(msg)
    # logger1.debug(f'{username}註冊成功')  # 這裡讓使用者自己寫更好
    return logger1

logging.basicConfig()函式說明

#	該方法用於為logging日誌系統做一些基本配置,方法定義如下:
logging.basicConfig(**kwargs)
引數名稱 描述
filename 指定日誌輸出目標檔案的檔名,指定該設定項後日志信心就不會被輸出到控制檯了
filemode 指定日誌檔案的開啟模式,預設為'a'。需要注意的是,該選項要在filename指定時才有效
format 指定日誌格式字串,即指定日誌輸出時所包含的欄位資訊以及它們的順序。logging模組定義的格式欄位下面會列出。
datefmt 指定日期/時間格式。需要注意的是,該選項要在format中包含時間欄位%(asctime)s時才有效
level 指定日誌器的日誌級別
stream 指定日誌輸出目標stream,如sys.stdout、sys.stderr以及網路stream。需要說明的是,stream和filename不能同時提供,否則會引發 ValueError異常
style Python 3.2中新新增的配置項。指定format格式字串的風格,可取值為'%'、'{'和'$',預設為'%'
handlers Python 3.3中新新增的配置項。該選項如果被指定,它應該是一個建立了多個Handler的可迭代物件,這些handler將會被新增到root logger。需要說明的是:filename、stream和handlers這三個配置項只能有一個存在,不能同時出現2個或3個,否則會引發ValueError異常。

日誌模組的主要組成部分

import logging
# 1.logger物件:產生日誌                                   (無包裝的產品)
logger = logging.getLogger('轉賬記錄')
# 2.filter物件:過濾日誌                                   (剔除不良品)
    # 針對過濾功能完全可以不看 因為handler自帶了基本的過濾操作
# 3.handler物件:控制日誌的輸出位置(檔案、終端...)            (產品分類)
hd1 = logging.FileHandler('a1.log',encoding='utf-8')  # 輸出到檔案中
hd2 = logging.FileHandler('a2.log',encoding='utf-8')  # 輸出到檔案中
hd3 = logging.StreamHandler()  # 輸出到終端
# 4.format物件:控制日誌的格式                              (包裝)
fm1 = logging.Formatter(
        fmt='%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',
        datefmt='%Y-%m-%d %H:%M:%S %p',
)
fm2 = logging.Formatter(
        fmt='%(asctime)s - %(name)s:  %(message)s',
        datefmt='%Y-%m-%d',
)
# 5.給logger物件繫結handler物件
logger.addHandler(hd1)
logger.addHandler(hd2)
logger.addHandler(hd3)
# 6.給handler繫結formmate物件
hd1.setFormatter(fm1)
hd2.setFormatter(fm2)
hd3.setFormatter(fm1)
# 7.設定日誌等級
logger.setLevel(10)  # debug
# 8.記錄日誌
logger.debug('輸出內容')

logging模組定義的格式字串欄位

欄位/屬性名稱 使用格式 描述
asctime %(asctime)s 日誌事件發生的時間--人類可讀時間,如:2003-07-08 16:49:45,896
created %(created)f 日誌事件發生的時間--時間戳,就是當時呼叫time.time()函式返回的值
relativeCreated %(relativeCreated)d 日誌事件發生的時間相對於logging模組載入時間的相對毫秒數(目前還不知道幹嘛用的)
msecs %(msecs)d 日誌事件發生事件的毫秒部分
levelname %(levelname)s 該日誌記錄的文字形式的日誌級別('DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL')
levelno %(levelno)s 該日誌記錄的數字形式的日誌級別(10, 20, 30, 40, 50)
name %(name)s 所使用的日誌器名稱,預設是'root',因為預設使用的是 rootLogger
message %(message)s 日誌記錄的文字內容,通過 msg % args計算得到的
pathname %(pathname)s 呼叫日誌記錄函式的原始碼檔案的全路徑
filename %(filename)s pathname的檔名部分,包含檔案字尾
module %(module)s filename的名稱部分,不包含字尾
lineno %(lineno)d 呼叫日誌記錄函式的原始碼所在的行號
funcName %(funcName)s 呼叫日誌記錄函式的函式名
process %(process)d 程序ID
processName %(processName)s 程序名稱,Python 3.1新增
thread %(thread)d 執行緒ID
threadName %(thread)s 執行緒名稱

logging日誌模組四大元件

元件名稱 對應類名 功能描述
日誌器 Logger 提供了應用程式可一直使用的介面
處理器 Handler 將logger建立的日誌記錄傳送到合適的目的輸出
過濾器 Filter 提供了更細粒度的控制工具來決定輸出哪條日誌記錄,丟棄哪條日誌記錄
格式器 Formatter 決定日誌記錄的最終輸出格式
1.日誌器(logger)需要通過處理器(handler)將日誌資訊輸出到目標位置,如:檔案、sys.stdout、網路等;

2.不同的處理器(handler)可以將日誌輸出到不同的位置;

3.日誌器(logger)可以設定多個處理器(handler)將同一條日誌記錄輸出到不同的位置;
4.每個處理器(handler)都可以設定自己的過濾器(filter)實現日誌過濾,從而只保留感興趣的日誌;
5.每個處理器(handler)都可以設定自己的格式器(formatter)實現同一條日誌以不同的格式輸出到不同的地方。

'''簡單點說就是:日誌器(logger)是入口,真正幹活兒的是處理器(handler),處理器(handler)還可以通過過濾器(filter)和格式器(formatter)對要輸出的日誌內容做過濾和格式化等處理操作'''

Logger物件有3個任務要做:

1)嚮應用程式程式碼暴露幾個方法,使應用程式可以在執行時記錄日誌訊息;
2)基於日誌嚴重等級(預設的過濾設施)或filter物件來決定要對哪些日誌進行後續處理;
3)將日誌訊息傳送給所有感興趣的日誌handlers。

第三方模組

# 如何利用工具
	需要使用python直譯器提供的pip工具
  	pip的路徑在python直譯器資料夾內的scripts目錄下
  '''
  如果下載終端中直接使用pip目錄 需要新增環境變數
  	python直譯器的路徑:  D:\python36
  	pip工具的路徑:			  D:\python36\scripts
  我們在使用pip工具的時候 為了區分版本會人為的將python3的pip工具
  寫成pip3  python2的pip工具寫成pip
  '''
 
# 如何檢視當前直譯器下載的第三方模組(通常都是藉助於編輯器檢視)
	settings
  	project
    	python interprter
      	會列舉出所有的第三方模組
        	純淨的直譯器預設只有兩個
          	pip
            setuptools
 
# 如何下載第三方模組
	方式1:直接使用命令列(cmd終端直接敲)
    	pip3 install 模組名  '''該方式預設下載的是最新版本'''
      pip3 install 模組名==版本號  '''自定義下載版本號'''
			ps:pip工具預設是從國外的倉庫下載模組 速度會比較慢 可以修改
      pip3 install 模組名 -i 倉庫地址  # 命令列臨時修改地址
      """
      針對倉庫地址 直接百度搜索pip源即可獲得
      	(1)阿里雲http://mirrors.aliyun.com/pypi/simple/
        (2)豆瓣http://pypi.douban.com/simple/
        (3)清華大學https://pypi.tuna.tsinghua.edu.cn/simple/
        (4)中國科學技術大學 http://pypi.mirrors.ustc.edu.cn/simple/
        (5)華中科技大學http://pypi.hustunique.com/
      """
  方式2:利用程式設計軟體提供的快捷方法
    	還是今日到檢視下載的第三方模組介面
      	雙擊任意一個模組名稱或者左下角加號按鈕
      在搜尋框中輸入你想要下載的模組即可
      	並且可以在左側勾選specify version選擇版本
      # pycharm可以換源
      	左下方點選manage repositoires管理地址即可

"""
在下載第三方模組的時候可能會報錯
	1.報錯資訊中含有timeout關鍵字
		原因是你當前計算機的網路不穩定 重新執行多次或者切換網路
	2.報錯資訊中沒有太多的關鍵字 並且很長
		拷貝最後一行錯誤資訊 去百度
			格式:  pip3下載模組名報錯錯誤資訊
"""

openpyxl模組

"""以後我們會接觸到很多第三方模組 那麼統一的學習策略其實就是看文件"""
	pip3 install openpyxl
# 將文件中的程式碼拷貝執行檢視效果從而推導功能

"""
excel檔案的版本及字尾
	2003版本之前 excel的檔案字尾是xls
	2003版本之後 excel的檔案字尾是xlsx、csv
在python中能夠處理excel檔案的模組有很多 其中最出名的有
	xlrd、xlwt分別控制excel檔案的讀寫 能夠相容所有版本的檔案
	openpyxl針對03版本之前的相容性可能不好 但是功能更加強大
"""
# 如何建立excel檔案
	from openpyxl import Workbook

  wb = Workbook()  # 建立excel檔案
  wb1 = wb.create_sheet('學員名單')  # 建立工作簿
  wb1.title = '修改名單標題'
  wb.save('儲存檔案.xlsx')  # 儲存excel檔案
  
# 如何寫資料
	# 寫普通資料方式1
  wb1['A3'] = 666
  # 寫普通資料方式2
  wb1.cell(row=3, column=4, value=999)
  # 批量寫普通資料
  wb1.append(['id','username','password'])

  # 寫公式資料(也可以在python程式碼中處理完畢以普通資料寫入)
  wb1['A6'] = '=sum(A4:A5)'
	
# 如何讀資料
from openpyxl import load_workbook
wb = load_workbook('1.xlsx',read_only=True,data_only=True)
print(wb.sheetnames)  # 獲取1.xlsx中所有的工作薄名稱  結果是列表資料型別
wb1 = wb['test']  # 拿到工作薄test物件

# 第一種取值方式
print(wb1['A3'].value)  # 不是結果 需要再點value
print(wb1['A6'].value)  # 獲取用函式統計的資料,發生無法取到值
"""
  第一需要加一個引數
  第二需要人為的先去修改一下用程式產生的excel表格(不可能用程式產生excel檔案之後又直接再用程式去讀入,這樣沒有任何實際意義 通常用程式建立好表格後給人看,人講自己修改的表格再交由程式處理)
"""
print(wb1.cell(row=3,column=4).value)  # 第二種取值方式

# 獲取一行行的資料
for row in wb1.rows:  # 拿到每一行的資料
  for data in row:  # 拿到一行行資料裡面每一個單元格的資料
    print(data.value)
    
# 獲取一列列的資料(如果想獲取 必須把readonly去掉)
for column in wb1.columns:  # 拿到每一列的資料
 	for r in column:  # 拿到一列列資料裡面每一個單元格的資料
    print(r.value)

# 獲取最大的行數和列數
print(wb1.max_row)
print(wb1.max_column)