1. 程式人生 > >Python 中如何實現引數化測試?

Python 中如何實現引數化測試?

Python 中如何實現引數化測試?

之前,我曾轉過一個單元測試框架系列的文章,裡面介紹了 unittest、nose/nose2 與 pytest 這三個最受人歡迎的 Python 測試框架。

本文想針對測試中一種很常見的測試場景,即引數化測試,繼續聊聊關於測試的話題,並嘗試將這幾個測試框架串聯起來,做一個橫向的比對,加深理解。

1、什麼是引數化測試?

對於普通測試來說,一個測試方法只需要執行一遍,而引數化測試對於一個測試方法,可能需要傳入一系列引數,然後進行多次測試。

比如,我們要測試某個系統的登入功能,就可能要分別傳入不同的使用者名稱與密碼,進行測試:使用包含非法字元的使用者名稱、使用未註冊的使用者名稱、使用超長的使用者名稱、使用錯誤的密碼、使用合理的資料等等。

引數化測試是一種“資料驅動測試”(Data-Driven Test),在同一個方法上測試不同的引數,以覆蓋所有可能的預期分支的結果。它的測試資料可以與測試行為分離,被放入檔案、資料庫或者外部介質中,再由測試程式讀取。

2、引數化測試的實現思路?

通常而言,一個測試方法就是一個最小的測試單元,其功能應該儘量地原子化和單一化。

先來看看兩種實現引數化測試的思路:一種是寫一個測試方法,在其內部對所有測試引數進行遍歷;另一種是在測試方法之外寫遍歷引數的邏輯,然後依次呼叫該測試方法。

這兩種思路都能達到測試目的,在簡單業務中,沒有毛病。然而,實際上它們都只有一個測試單元,在統計測試用例數情況,或者生成測試報告的時候,並不樂觀。可擴充套件性也是個問題。

那麼,現有的測試框架是如何解決這個問題的呢?

它們都藉助了裝飾器,主要的思路是:利用原測試方法(例如 test()),來生成多個新的測試方法(例如 test1()、test2()……),並將引數依次賦值給它們。

由於測試框架們通常把一個測試單元統計為一個“test”,所以這種“由一生多”的思路相比前面的兩種思路,在統計測試結果時,就具有很大的優勢。

3、引數化測試的使用方法?

Python 標準庫中的unittest 自身不支援引數化測試,為了解決這個問題,有人專門開發了兩個庫:一個是ddt ,一個是parameterized

ddt 正好是“Data-Driven Tests”(資料驅動測試)的縮寫。典型用法:

import unittest
from ddt import ddt,data,unpack

@ddt
class MyTest(unittest.TestCase):
    @data((3, 1), (-1, 0), (1.2, 1.0))
    @unpack
    def test_values(self, first, second):
        self.assertTrue(first > second)

unittest.main(verbosity=2)

執行的結果如下:

test_values_1__3__1_ (__main__.MyTest) ... ok
test_values_2___1__0_ (__main__.MyTest) ... FAIL
test_values_3__1_2__1_0_ (__main__.MyTest) ... ok

==================================================
FAIL: test_values_2___1__0_ (__main__.MyTest)
--------------------------------------------------
Traceback (most recent call last):
  File "C:\Python36\lib\site-packages\ddt.py", line 145, in wrapper
    return func(self, *args, **kwargs)
  File "C:/Users/pythoncat/PycharmProjects/study/testparam.py", line 9, in test_values
    self.assertTrue(first > second)
AssertionError: False is not true

----------------------------------------------
Ran 3 tests in 0.001s

FAILED (failures=1)

結果顯示有 3 個 tests,並詳細展示了執行狀態以及斷言失敗的資訊。

需要注意的是,這 3 個 test 分別有一個名字,名字中還攜帶了其引數的資訊,而原來的 test_values 方法則不見了,已經被一拆為三。

在上述例子中,ddt 庫使用了三個裝飾器(@ddt、@data、@unpack),實在是很醜陋。下面看看相對更好用的 parameterized 庫:

import unittest
from parameterized import parameterized

class MyTest(unittest.TestCase):
    @parameterized.expand([(3,1), (-1,0), (1.5,1.0)])
    def test_values(self, first, second):
        self.assertTrue(first > second)

unittest.main(verbosity=2) 

測試結果如下:

test_values_0 (__main__.MyTest) ... ok
test_values_1 (__main__.MyTest) ... FAIL
test_values_2 (__main__.MyTest) ... ok

=========================================
FAIL: test_values_1 (__main__.MyTest)
-----------------------------------------
Traceback (most recent call last):
  File "C:\Python36\lib\site-packages\parameterized\parameterized.py", line 518, in standalone_func
    return func(*(a + p.args), **p.kwargs)
  File "C:/Users/pythoncat/PycharmProjects/study/testparam.py", line 7, in test_values
    self.assertTrue(first > second)
AssertionError: False is not true

----------------------------------------
Ran 3 tests in 0.000s

FAILED (failures=1)

這個庫只用了一個裝飾器 @parameterized.expand,寫法上可就清爽多了。

同樣提醒下,原來的測試方法已經消失了,取而代之的是三個新的測試方法,只是新方法的命名規則與 ddt 的例子不同罷了。

介紹完 unittest,接著看已經死翹翹了的nose 以及新生的nose2 。nose 系框架是帶了外掛(plugins)的 unittest,以上的用法是相通的。

另外,nose2 中還提供了自帶的引數化實現:

import unittest
from nose2.tools import params

@params(1, 2, 3)
def test_nums(num):
    assert num < 4

class Test(unittest.TestCase):
    @params((1, 2), (2, 3), (4, 5))
    def test_less_than(self, a, b):
    assert a < b

最後,再來看下 pytest 框架,它這樣實現引數化測試:

import pytest

@pytest.mark.parametrize("first,second", [(3,1), (-1,0), (1.5,1.0)])
def test_values(first, second):
    assert(first > second)

測試結果如下:

==================== test session starts ====================
platform win32 -- Python 3.6.1, pytest-5.3.1, py-1.8.0, pluggy-0.13.1
rootdir: C:\Users\pythoncat\PycharmProjects\study collected 3 items

testparam.py .F
testparam.py:3 (test_values[-1-0])
first = -1, second = 0

    @pytest.mark.parametrize("first,second", [(3,1), (-1,0), (1.5,1.0)])
    def test_values(first, second):
>       assert(first > second)
E       assert -1 > 0

testparam.py:6: AssertionError
.                                                         [100%]

========================= FAILURES ==========================
_________________________ test_values[-1-0] _________________________

first = -1, second = 0

    @pytest.mark.parametrize("first,second", [(3,1), (-1,0), (1.5,1.0)])
    def test_values(first, second):
>       assert(first > second)
E       assert -1 > 0

testparam.py:6: AssertionError
===================== 1 failed, 2 passed in 0.08s =====================
Process finished with exit code 0

依然要提醒大夥注意,pytest 也做到了由一變三,然而我們卻看不到有新命名的方法的資訊。這是否意味著它並沒有產生新的測試方法呢?或者僅僅是把新方法的資訊隱藏起來了?

4、最後小結

上文中介紹了引數化測試的概念、實現思路,以及在三個主流的 Python 測試框架中的使用方法。我只用了最簡單的例子,為的是快速科普(言多必失)。

但是,這個話題其實還沒有結束。對於我們提到的幾個能實現引數化的庫,拋去寫法上大同小異的區別,它們在具體程式碼層面上,又會有什麼樣的差異呢?

具體來說,它們是如何做到把一個方法變成多個方法,並且將每個方法與相應的引數繫結起來的呢?在實現中,需要解決哪些棘手的問題?

在分析一些原始碼的時候,我發現這個話題還挺有意思,所以準備另外寫一篇文章。那麼,本文就到此為止了,謝謝閱讀