自動化測試報告(allure/html)
pytest有兩種生成測試報告的方法(html和allure),今天就給大家一一介紹下
html
一.pytest-html基本語法
1.安裝:pip install pytest-html
2.檢視版本:pip show pytest-html
3.生成測試報告基本語法:
語法一:pytest --html=生成報告的url 執行用例的.py檔案
語法二:pytest --html=生成報告的url --self-contained-html 執行用例的.py檔案
二.例項
1.建立一個test_pytestHtml.py檔案,編寫幾條用例(忽略警告)
2.在Terminal執行命令:pytest --html=生成報告的url 執行用例的.py檔案,執行成功後,這個時候我們去
生成報告的url下可以看見生成兩個檔案,一個是我們生成的html報告,另一個是assets檔案,裡面存放的是
css檔案,開啟素材的html報告後可以看見用例的執行情況
3.我們再在Terminal執行命令:pytest --html=生成報告的url --self-contained-html 執行用例的.py檔案,
同樣執行成功後,我們去看下生成的檔案,發現只有html生成,並沒有assets檔案,這是因為css語法
寫在了html檔案中,沒有單獨放出來。所以方便以後報告的傳送,建議使用第二中語法。
三.修改生成的測試報告(掛鉤用法見pytest官方:https://docs.pytest.org/en/latest/reference/reference.html#hooks)
1.環境的修改
我們可以看到在html中248行,環境是以表格的形式呈現出來的,如果我們想刪除某些預設環境或者新增自
己想要的環境,可在根目錄下建立conftest.py檔案,如下圖,pytest_configure(config): 許外掛和conftest文
件執行初始配置。我在再來重新生成html報告可以看見我們在Environment下修改的內容
2.概括的修改
可以看到原始碼中264行表示的是概括,但預設的內容只有用例總數和執行時間,如果我們想要增加自己想要的
資訊模組,可在conftest.py下編寫函式,再次執行生成html檔案就可看見需要的內容了
3.標題的修改
同樣在conftest檔案下編寫pytest_html_report_title函式,如下
allure(如果可以的話建議使用allure,美觀+高階+好用)
一.環境配置
1.下載jdk配置java執行環境,下載地址:https://www.oracle.com/java/technologies/downloads/#jdk18-windows
2.下載安裝完成後配置java環境變數(屬性>高階設定>環境變數>新建),新增JAVA_HOME。
在path下里新增:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin
3.配置完成後可在dos視窗輸入javac,java -version,能輸出版本號及相關指令即安裝配置成功
4.下載allure工具:https://repo.maven.apache.org/maven2/io/qameta/allure/allure-commandline/,下載成功
後配置環境變數,path下新增allure的bin檔案所在目錄
5.配置完成在dos建立輸入allure有相關內容時即安裝成功
6.安裝allure-pytest工具,開啟你使用的程式設計工具,這裡以pycharm為例,在Terminal輸入pip install allure-pytest
二.allure報告的生成指令
1.生成json檔案:pytest -q --alluredir=生成json檔案的路徑 需要執行的case路徑(說明:-q簡要輸出)
2.將生成的json檔案轉出html格式
(1)指定路徑生成html報告:allure generate -o 生成html報告的路徑 json檔案路徑
(2)預設路徑生成html報告:allure generate -clear json檔案路徑(說明:預設路徑
為allure-report,clear清空該路徑原有的報告)
(3)open及serve用法
serve:allure serve -o 生成html報告的路徑 json檔案路徑(說明:與generater
不同的是,serve生成html後會自動在瀏覽器開啟該報告)
open:allure open -h ip地址 html路徑(說明:開啟生成的html報告)
注:serve和open執行時會自動開啟一個java程序,且只能手動關閉,因此多次使用
serve和open會增加java消耗
三.allure報告的用法(本次介紹下面幾種常用的allure方法)
方法 | 說明 |
@allure.epic() | 一級類目 |
@allure.feature() | 二級類目 |
@allure.story() | 三級類目 |
@allure.title() | 用例標題 |
@allure.testcase() | case地址 |
@allure.issue() | bug地址 |
@allure.description() | case描述 |
@allure.step() | case步驟 |
@allure.severity() | case等級 |
@allure.link() | 連結 |
[email protected](),allure.feature(),allure.story()的使用
(1)建立一個test.two.py檔案,寫法如下
import allure
@allure.epic("我是一級目錄") @allure.feature("我是二級目錄") @allure.story("我是三級目錄") class TestDome: def test_one(self): print("我是test_one") assert True def test_two(self): print("我是test_two") assert False
(2)生成json檔案:pytest --alluredir=./report/2022-5-22 testcase/test_two.py
(3)將生成的json檔案轉出html:allure generate -o ./allure-report/2022-5-22 ./report/2022-5-22
此時我們可以看見allrue-report目錄下有個2022-5-22/index.html,開啟後在Behaviors下可看見執行case
[email protected]()的使用
(1)從上面可以看出每條case的標題都是函式名字(如:test_one,test_two),我們可以用title修改預設標題
class TestDome: @allure.title("我是one") def test_one(self): print("我是test_one") assert True @allure.title("我是two") def test_two(self): print("我是test_two") assert False
(2)執行後的結果
[email protected](),@allure.issue(),@allure.link()用法
(1)allure作用與class上,那麼該class下所有的函式都會被定義到,如果allure作用於
每個函式上,那麼只對該函式生效
@allure.testcase("path url", name="我是存放測試用例的地址") @allure.issue("bug url", name="bug地址") @allure.link("link url", name="連結地址") class TestDome: @allure.title("我是one") def test_one(self): print("我是test_one") assert True @allure.title("我是two") def test_two(self): print("我是test_two") assert False
(2)執行後的結果,可以看出case右側多出links模組
(1)用法一:使用description編寫case描述
import pytest import allure @allure.epic("我是一級目錄") @allure.feature("我是二級目錄") @allure.story("我是三級目錄") @allure.testcase("path url", name="我是存放測試用例的地址") @allure.issue("bug url", name="bug地址") @allure.link("link url", name="連結地址") class TestDome: @allure.description("我是來描述test_one這條case的") @allure.title("我是one") def test_one(self): print("我是test_one") assert True @allure.title("我是two") def test_two(self): print("我是test_two") assert False
執行後該條case右側overview多出了description模組
(2)用法二:無需使用@allure.description(),可在函式中使用(""""""),生成測試報告會自動獲取
import pytest import allure @allure.epic("我是一級目錄") @allure.feature("我是二級目錄") @allure.story("我是三級目錄") @allure.testcase("path url", name="我是存放測試用例的地址") @allure.issue("bug url", name="bug地址") @allure.link("link url", name="連結地址") class TestDome: @allure.title("我是one") def test_one(self): """我是test_one例項方法,該方法是TestDome第一個例項方法""" print("我是test_one") assert True @allure.title("我是two") def test_two(self): print("我是test_two") assert False # pytest --alluredir=./report/2022-5-22-02 testcase/test_two.py # allure generate -o ./allure-report/2022-5-22-02 ./report/2022-5-22-02
執行後的結果
(1)該方法在函式外使用時直接@allure.step()即可。要是在函式中使用,需要with allure.step():
import pytest import allure class TestDome: @allure.step("步驟一") @allure.step("步驟二") @allure.step("步驟三") def test_one(self): print("我是test_one") assert True def test_two(self): print("我是test_two") assert False
import pytest import allure class TestDome: def test_one(self): with allure.step("步驟一:開啟登入頁面"): with allure.step("步驟二:輸入正確的使用者名稱和密碼"): with allure.step("步驟三:點選登入"): assert True def test_two(self): print("我是test_two") assert False
執行後結果,可以看到test body下的執行步驟
(1)severity有四種等級
blocker | 阻塞缺陷 |
critical | 嚴重缺陷 |
normal | 一般缺陷 |
trivial | 輕微缺陷 |
minor | 次要缺陷 |
(2)具體用法:@allure.severity("等級")
import pytest import allure class TestDome: @allure.severity("trivial") def test_one(self): with allure.step("步驟一:開啟登入頁面"): with allure.step("步驟二:輸入正確的使用者名稱和密碼"): with allure.step("步驟三:點選登入"): assert True def test_two(self): print("我是test_two") assert False
(3)執行結果,如果不手動定義的話,預設為normal bug
四.allure和pytest引數連用
import pytest import allure class TestDome: @pytest.mark.parametrize("param", [{"name": "李明", "age": 18}, {"name": "李華", "age": 17}]) def test_one(self,param): with allure.step("步驟一:開啟登入頁面"): with allure.step("步驟二:輸入正確的使用者名稱和密碼"): with allure.step("步驟三:點選登入"): assert True def test_two(self): print("我是test_two") assert False
執行後結果,可以看出這裡test_one運行了兩次,成功測試報告後引數值會自己填充在parameters中
2.skip和xfail
(1)我們先來了解下這兩種方法的定義
@pytest.mark.skip()來跳過該條case不執行,可以看出以下程式碼執行後並不會執行test_one case
import pytest
import allure
class TestDome:
@pytest.mark.skip(reason="跳過該條case")
def test_one(self):
print("我是test_one")
assert True
def test_two(self):
print("我是test_two")
assert True
@pytest.mark.xfail()標記預期結果值,
import pytest import allure class TestDome: @pytest.mark.xfail(reason="預期返回True") def test_one(self): print("我是test_one") assert True def test_two1(self): print("我是test_two") assert True
(2)接下來進入正題,skip and xfail與alure一起使用這裡直接貼圖吧,具體寫法和上面一致
這裡可以看出test_one case跳過後並沒有執行,置灰顯示
五.在allure報告中列印日誌和print內容
1.首先我們需要先封裝下logging日誌,具體寫法如下(這裡你定義一個函式,編寫在函式中)
import logging import os logger = logging.getLogger("weixin_api_log") # 設定日誌名稱 logger.setLevel(logging.DEBUG) # 設定日誌等級 formats = logging.Formatter("[%(asctime)s] [%(levelname)s] %(message)s") # 設定列印格式 file_url = logging.FileHandler("C:/Users/XXX/PycharmProjects/weixin_api/log/weixin.log", mode="a+", encoding="utf8") # log檔案路徑 # file_url1 = logging.StreamHandler() # 操作檯列印 file_url.setFormatter(formats) # 賦予列印格式 # file_url1.setFormatter(formats) logger.addHandler(file_url) # logger.addHandler(file_url1)
2.建立test_one.py呼叫logging
import pytest import allure from commom.log import logger import datetime class TestDome: def test_one(self): logger.debug(f"日誌時間:{datetime.datetime.now()}") print("我是test_one") assert True def test_two1(self): print("我是test_two") assert True
3.執行結果(這裡需要注意的是,執行是不用加-s引數,如果加的話,print列印內容不會再報告中顯示)
在test body下log裡會展示列印的日誌,stdout裡展示的是print列印的內容