1. 程式人生 > 程式設計 >詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

對於軟體測試工作來說,測試報告是非常重要的工作產出。一個漂亮、清晰、格式規範、內容完整的測試報告,既能最大化我們的測試工作產出,又能夠減少開發人員和測試人員的溝通成本。

本篇文章將介紹如何使用開源的測試報告生成框架Allure生成規範、格式統一、美觀的測試報告。
通過這篇文章的介紹,你將能夠:

  • 將Allure與Pytest測試框架相結合;
  • 如何定製化測試報告內容
  • 執行測試之後,生成Allure格式的測試報告。
  • 如何與Jenkins整合。
  • 將測試環境資訊展示到測試報告中。

1、Allure測試報告介紹

Allure是一款輕量級並且非常靈活的開源測試報告框架。 它支援絕大多數測試框架, 例如TestNG、Pytest、JUint等。它簡單易用,易於整合。下面就Pytest如何與Allure整合做詳細介紹。

2、Pytest框架整合Allure

Pytest是Python的單元測試框架,非常方便和易用。強烈推薦對於用Python進行測試工作的小夥伴使用這個測試框架,相比與Python自帶的UnitTest好用太多太多。這篇文章我不會介紹太多Pytest測試框架的使用,今天主要是介紹如何將測試報告生成工具Allure整合到Pytest中。

2.1 安裝Allure Pytest Plugin

allure-pytest是Pytest的一個外掛,通過它我們可以生成Allure所需要的用於生成測試報告的資料。安裝allure-pytest外掛方法:

$ pip install allure-pytest

2.2 改造基於Pytest的測試用例

allure-pytest的官方文件中詳細介紹了allure-pytest所具有的功能。本篇文章不會再翻譯一遍,而是從實際入手,給大家介紹如何將其應用到自己的框架中。

為了使用Allure生成報告,需要在測試指令碼中加入Allure特性。而這個操作並不會對原有的測試用例邏輯產生任何變動。

直接看下面的指令碼,我通過在指令碼中添加註釋的方式給大家解釋allure特性的用途。比如測試指令碼是test_shopping_trolley.py:

#!/usr/bin/env python
# coding=utf-8

import pytest
import allure


@allure.feature('購物車功能') # 用feature說明產品需求,可以理解為JIRA中的Epic
class TestShoppingTrolley(object):
  @allure.story('加入購物車') # 用story說明使用者場景,可以理解為JIRA中的Story
  def test_add_shopping_trolley(self):
    login('劉春明','密碼') # 步驟1,呼叫“step函式”
    with allure.step("瀏覽商品"): # 步驟2,step的引數將會列印到測試報告中
      allure.attach('筆記本','商品1') # attach可以列印一些附加資訊
      allure.attach('手機','商品2')
    with allure.step("點選商品"): # 步驟3
      pass
    with allure.step("校驗結果"): # 步驟4
      allure.attach('新增購物車成功','期望結果')
      allure.attach('新增購物車失敗','實際結果')
      assert 'success' == 'failed'

  @allure.story('修改購物車')
  def test_edit_shopping_trolley(self):
    pass

  @pytest.mark.skipif(reason='本次不執行')
  @allure.story('刪除購物車中商品')
  def test_delete_shopping_trolley(self):
    pass


@allure.step('使用者登入') # 將函式作為一個步驟,呼叫此函式時,報告中輸出這個步驟,我把這樣的函式叫“step函式”
def login(user,pwd):
  print(user,pwd)

上面使用了Allure的幾個特性:

  • @allure.feature # 用於描述被測試產品需求
  • @allure.story # 用於描述feature的使用者場景,即測試需求
  • with allure.step # 用於描述測試步驟,將會輸出到報告中
  • allure.attach # 用於向測試報告中輸入一些附加的資訊,通常是一些測試資料,截圖等
  • @pytest.allure.step # 用於將一些通用的函式作為測試步驟輸出到報告,呼叫此函式的地方會向報告中輸出步驟

3、生成Allure測試報告

測試指令碼中添加了Allure特性之後,可以通過兩步,就可以展示出測試報告了。

第一步,生成測試報告資料

在py.test執行測試的時候,指定–alluredir選項及結果資料儲存的目錄:

$ py.test test/ --alluredir ./result/

./result/中儲存了本次測試的結果資料。另外,還可以執行指定features或者stories執行一部分測試用例,比如執行”購物車功能“下的”加入購物車“子功能的測試用例:

$ py.test test/ --allure_features='購物車功能' --allure_stories='加入購物車'

第二步,生成測試報告頁面

通過下面的命令將./result/目錄下的測試資料生成測試報告頁面:

$ allure generate ./result/ -o ./report/ --clean

–clean選專案的是先清空測試報告目錄,再生成新的測試報告。

這一步需要提前安裝allure命令列,如果是Mac電腦,推薦使用Homebrew安裝。

$ brew install allure

4、解讀測試報告

開啟生成的測試報告後,瀏覽器被自動調起,展示測試報告。下面我們分別看看測試報告的幾個頁面。

4.1、首頁

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

首頁中展示了本次測試的測試用例數量,成功用例、失敗用例、跳過用例的比例,測試環境,SUITES,FEATURES BY STORIES等基本資訊,當與Jenkins做了持續置成後,TREND區域還將顯示,歷次測試的通過情況。
首頁的左邊欄,還從不同的維度展示測試報告的其他資訊,大家可以自己點進去看看。

4.2、Behaviors頁面

進入Behaviors頁面,這個頁面按照FEATURES和 STORIES展示測試用例的執行結果:

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

從這個頁面可以看到“購物車功能”這個FEATURES包含的三個STORIES的測試用例執行情況。

4.3、Suites頁面

Allure測試報告將每一個測試指令碼,作為一個Suite。在首頁點選Suites區域下面的任何一條Suite,都將進入Suites頁面。

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

這個頁面,以指令碼的目錄結構展示所有測試用例的執行情況。

4.4、Graphs頁面

這個頁面展示了本次測試結果的統計資訊,比如測試用例執行結果狀態、測試用例重要等級分佈、測試用例執行時間分佈等。

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

4.5、測試用例詳情頁面

在Suites頁面上點選任何一條測試用例,Suites頁面的右側將展示這條用例的詳細執行情況。

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

從這個頁面可以看到測試用例執行的每一個步驟,以及每個步驟的執行結果,每一個步驟都可以新增附件,作為重要資訊補充。從這裡,對於失敗的測試用例,可以一目瞭然看到原因。

5、Jenkins中生成Allure報告

5.1、安裝 Allure Plugin

首先需要給Jenkins安裝Allure Plugin。在Jenkins的外掛管理頁面,搜尋“allure”,在搜尋結果頁,選擇“Allure Jenkins Plugin”進行安裝。

安裝完成之後重啟一下Jenkins。

在Jenkins的“全域性工具管理”頁面,找到Allure Commandline模組進行安裝:

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

點選後,彈出下面的頁面,輸入Allure的命令別名和版本後,點選Apply 和Save。

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

5.2、修改Pipeline

在Pipeline的定義中,在執行測試用例的環節增加--alluredir ./allure-results儲存測試結果資料,並在構建後的步驟中增加allure includeProperties: false,jdk: '',report: 'jenkins-allure-report',results: [[path: 'allure-results']]將測試結果資料生成測試報告頁面,完整的Jenkinsfile如下:

pipeline {
  // ...
  stages {
  //...
    stage('執行測試用例') {
      steps {
        sh "py.test tests/ --alluredir ./allure-result"
      }
    }
  }
  post {
      always{
      script {
        allure includeProperties: false,results: [[path: 'allure-result']]
      }
    }
  }
}

這樣,我們的Jenkins Job執行完測試用例時候,將在Job的主頁面上看到Allure Report圖示,點選進去就看到了Allure Report報告。

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

如果你現在依然使用的是Freestyle風格的job。那麼需要在構建後步驟中,新增Allure Report步驟,將allure的報告資料新增到Path中:

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

這樣當job執行完成後,也可以看到allure測試報告了。

6、增加測試環境到Allure報告中

在4.1小節展示的報告首頁中,有一個區域可以展示測試執行的環境資訊。但是目前allure-pytest外掛中並沒有實現。不過在之前我用過的另外一個外掛pytest-allure-adaptor是支援的。可惜pytest-allure-adaptor外掛專案已經被標記為Deprecated了。

將測試環境資訊輸出到報告中,對於測試報告來講是非常有意義的。我們有沒有什麼變通的辦法可以實現呢?在網上進行了一番查詢,發現stackoverflow上也有很多關於這個話題的討論。其中一個話題還給出了Workaround方法,這裡給大家貼上鍊接:
https://stackoverflow.com/questions/52030518/recommend-workaround-for-the-missing-environmental-support-in-pytest-allure

這個Workaround的方法也比較簡單方便,就是在allure-results目錄中,新建environment.properties檔案,並以key=value形式,在其中寫入環境相關的資訊,比如:

browser=chrome
backend=staging
domain=http://baidu.com

這樣,在執行allure generate ./result/ -o ./report/ --clean生成測試報告時,將能將測試環境資訊融合到測試報告的頁面中了。

詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告

這樣看,測試報告是不是更顯得完整了呢?

不過,這種手動方式還是比較麻煩,下面我們看看如何在pytest框架中,自動實現上面的workaround。

在Pytest中,有一個hook函式叫作pytest_sessionfinish,根據官方文件的描述,這個函式是在整個測試完成後被呼叫的,我們可以在其內部實現我們自己的邏輯。

我們將生成environment.properties檔案放到pytest_sessionfinish中實現,再適合不過了。在測試專案的根目錄下建立conftest.py檔案,在其中實現pytest_sessionfinish函式,程式碼如下。

#!/usr/bin/env python
# coding=utf-8

def pytest_sessionfinish(session):
  with open("{}/result/environment.properties".format(session.config.rootdir),"w") as f:
    f.write("browser=chrome\nbackend=staging\ndomain=http://baidu.com")

這樣,我們每次測試完成後,就自動將我們的測試環境資訊新增到測試報告中了。

7、總結

團隊內部可能不同專案使用的測試框架不一樣,每個測試框架生成的測試報告也不一樣。但由於Allure報告支援很多測試框架,通過Allure可以生成格式一致的測試報告,這就對外提供格式一致的測試報告提供了方便。

目前測試工程實踐中,另外一個常用的自動化測試工具組合是採用的Java+TestNG的架構,TestNG框架如何整合Allure也非常簡單。大家可以嘗試參考官方文件來實現整合一下。

到此這篇關於詳解用Pytest+Allure生成漂亮的HTML圖形化測試報告的文章就介紹到這了,更多相關Pytest+Allure生成HTML圖形化內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們!