正交分析法設計理論及實踐
一、理念介紹
在黑盒用例設計方法中有一個大家耳熟能詳的正交分析法,卻鮮有人知 “Pairwise”設計理念。
設想一種常見的場景,工期很緊的專案,原定的測試時間被“無理”地壓縮之後,如何能用極少的時間去保證更高的質量呢?
舉個例子,如果讓你測試一下word字型效果,你會整理出多少個用例呢?
答案很簡單是2的七次方=128個用例,但當工期特別緊的時候(128個用例執行不完)你又會從中選取哪些用例來執行呢?
“Pairwise”(官網: http://www.pairwise.org/)是行之有效的一個思路或者是強有力的理論基礎。它是L. L. Thurstone(29 May1887 – 30 September 1955)在1927年首先提出來的。他是美國的一位心理統計學家。Pairwise也正是基於數學統計和對傳統的正交分析法進行優化後得到的產物。
Pairwise基於如下2個假設:
(1)每一個維度都是正交的,即每一個維度互相都沒有交集。
(2)根據數學統計分析,73%的缺陷(單因子是35%,雙因子是38%)是由單因子或2個因子相互作用產生的。19%的缺陷是由3個因子相互作用產生的。
因此,pairwise基於覆蓋所有2因子的互動作用產生的用例集合價效比最高而產生的。
舉例來說明:當因子A為a1、B為b1時,接下來不可出現A為a1、B為b1 或者是 B為b1、A為a1(為什麼會倒過來描述,可以思考一下)。
當然,在現實中會是有各種約束條件的,所以會出現IF … Then…,或者是在同一場景下,因子A、B、C之間的組合是可以精簡的,而因子D、E、F、G卻是需要全組合(在Pairwise中的術語稱謂“階”)。一個個完全依靠人工來進行輸出太麻煩,各大contributor貢獻出自己的開源工具,這裡挑一個大公司的(微軟)給大家介紹一下,工具名PICT。
工具下載地址:https://github.com/Microsoft/pict
最新的版本支援多平臺(linux、mac、windows),需要自行編譯。
二、PICT工具使用
1)先準備一個文字檔案abc.txt,內容如下:
直接執行pict abc.txt即可得到pairwise之後的結果:
如果需要全組合情況,則可以在命令列引數中指定/o:3,其中3是因子的個數,(/o的預設值是2,此引數為上面所述的“階”)如:
2)在文字中指定因子的組合情況,
直接執行pict abc.txt 即可得到全組合的
3)因子判斷結構:
輸出的結果:(滿足了當A為a1時,B不等於b2,C 不等於c3)
三、案例實踐
以“星火錢包——開 戶管理”的 “查詢” 功能測試為例來詳細介紹一下PICT工具的使用思路和過程。
查詢因子有:“星火使用者ID”、“開 戶狀態”、“開 戶渠道”、“開 戶時間”,其中每個因子的限制如下:
- 星火使用者ID:不限制輸入的內容
- 開 戶狀態:請選擇(預設)、開 戶成功、開 戶失敗
- 開 戶渠道:請選擇(預設)、開 戶成功、開 戶失敗
- 開 戶時間:選擇時間區間範圍(前端頁面的限制:填寫其一,另外一個值會自動填充相同的時間,結束日期>=開始日期)(先不考慮後臺介面的限制)。
每個因子需要考慮值的範圍為:
星火使用者ID:空(預設)、非數字、120988476548、120988476900
(假設120988476548是可以查詢出結果的,120988476900是查詢不出結果的)
開 戶狀態:請選擇(預設)、開 戶成功、開 戶失敗
開 戶渠道:請選擇(預設)、PC、wap、app
開 戶開始時間:空(預設)、20150101、20160101、20170101
開 戶結束時間:空(預設)、20150101、20150301、20160201、20160301、20171101
“星火使用者ID”、“開 戶狀態”、“開 戶渠道”這三個因子,比較好整理,如圖所示,直接按照上面的內容直接填寫至檔案中即可:
而“開 戶開始時間”“開 戶結束時間”有依賴性,所以,需要特殊處理,我們將它們之間的依賴“翻譯”成PICT所能理解的方式:
1)“填寫其一,另外一個值會自動填充相同的時間”
換句話說,“開 戶開始時間”“開 戶結束時間”只能同時為空。
“翻譯”:
IF [開 戶開始時間] = "空" THEN [開 戶結束時間]= "空";
IF [開 戶結束時間] = "空" THEN [開 戶開始時間]= "空";
( 當然,你也可以這樣寫: IF [開 戶開始時間] NOT IN {"20150101","20160101","20170101"} THEN [開 戶結束時間]= "空"; IF [開 戶結束時間] NOT IN {"20150101","20150301","20160201","20160301","20171101"} THEN [開 戶開始時間]= "空"; )
2)“結束日期>=開始日期”
“翻譯”:
IF [開 戶開始時間] <> "空" AND [開 戶結束時間] <> "空" THEN [開 戶開始時間] <= [開 戶結束時間];
準備好全部的“翻譯”結果,如圖所示:
我們先看一下“全組合”的用例總數為多少?答案481條,如圖所示:
使用Pairwise思想,整理出的用例數量僅為30條,如圖所示:
用例的詳細內容如下:(每行即每條用例)
星火使用者ID | 開 戶狀態 | 開 戶渠道 | 開 戶開始時間 | 開 戶結束時間 |
---|---|---|---|---|
120988476900 | 請選擇 | 請選擇 | 空 | 空 |
120988476548 | 開 戶失敗 | PC | 20150101 | 20171101 |
非數字 | 開 戶失敗 | wap | 空 | 空 |
120988476900 | 開 戶成功 | app | 20150101 | 20150301 |
空 | 請選擇 | pc | 20160101 | 20160301 |
120988476548 | 開 戶失敗 | app | 20160101 | 20160301 |
空 | 開 戶成功 | wap | 20170101 | 20171101 |
空 | 開 戶失敗 | 請選擇 | 20150101 | 20150301 |
非數字 | 開 戶成功 | pc | 20150101 | 20150101 |
空 | 請選擇 | wap | 20150101 | 20150101 |
非數字 | 開 戶成功 | 請選擇 | 20160101 | 20171101 |
非數字 | 請選擇 | app | 20150101 | 20160301 |
120988476548 | 開 戶成功 | app | 空 | 空 |
120988476548 | 請選擇 | app | 20160101 | 20160201 |
120988476900 | 開 戶失敗 | wap | 20160101 | 20160201 |
120988476548 | 開 戶成功 | wap | 20150101 | 20160301 |
非數字 | 開 戶成功 | 請選擇 | 20150101 | 20160201 |
空 | 開 戶成功 | pc | 空 | 空 |
120988476900 | 請選擇 | app | 20170101 | 20171101 |
120988476900 | 開 戶失敗 | 請選擇 | 20150101 | 20150101 |
空 | 請選擇 | app | 20150101 | 20160201 |
120988476548 | 開 戶失敗 | app | 20150101 | 20150101 |
120988476900 | 開 戶成功 | 請選擇 | 20150101 | 20160301 |
120988476900 | 請選擇 | pc | 20150101 | 20150301 |
120988476548 | 開 戶失敗 | 請選擇 | 20170101 | 20171101 |
120988476548 | 開 戶失敗 | wap | 20150101 | 20150301 |
空 | 請選擇 | pc | 20150101 | 20160201 |
非數字 | 請選擇 | 請選擇 | 20150101 | 20150301 |
非數字 | 開 戶成功 | pc | 20170101 | 20171101 |
四、總結
Pairwise是一種有效的測試用例生成技術,通過對測試變數的所有維度及值的組合,避免窮舉測試所有維度的所有值及其組合來減少測試用例量。
遙想當年,Cohen等人應用Pairwise測試技術對Unix中的“Sort”命令進行了測試,測試結果表明覆蓋率高達90%以上。
對於當今迭代開發測試如此高效率的時代,更需要將這種測試方法,並將其應用於測試當中。
作者:宋金剛
來源:宜信技術