Beta階段測試報告
阿新 • • 發佈:2017-12-23
說明 聯想 嚴重 錯誤 階段 這一 header 異常 頁面
在測試過程中發現了多少Bug?
(1)學校官網和課程網站點擊沒有反應,只會回到頁面的頂部,缺少必要的提示。
(2)在追加評價的頁面,在點擊提交之後頁面會發生崩潰。
(3)部分討論會出現頁面的內容,比如會出現“< br/ >”的字樣。
(4)自己匿名發送的評分以及對於匿名評價的討論,自己在個人主頁也無法看到。
(5)部分瀏覽器(比如360瀏覽器)個人頁面的討論和評論下面的動態效果錯位,整體會向左側移動。
(6)自己在個人頁面的修改姓名的按鈕是無效的。
(7)部分跳轉存在錯誤,比如從主頁點入個人頁面,再點擊後退,會後退到剛剛發表評論頁面。
(8)一個賬號可以同時在多個位置登錄,不會將前一個登錄下線。
(9)顯示密碼的按鈕在輸入一次錯誤密碼後消失。
你是怎麽進行場景測試(scenario testing)的?包括你預期不同的用戶會怎樣使用你的軟件?他們有什麽需求和目標?你的軟件提供的功能怎麽組合起來滿足他們的需要?(這部分與alpha階段類似,只是場景擴充了)
信息 | 描述 | |
---|---|---|
姓名,年齡,職業 | A,20,大學學生 | |
收入 | 無 | |
學歷 | 大學在校本科生 | |
使用目的 | 選課前想要查看課程信息指導選課,上課結束後想要評價課程幫助後來的學弟學妹 | |
用戶偏好 | 善於並且願意給出客觀評價 | |
所占比例 | 80%-85% | |
典型場景 | 選課前登陸看一下評分指導選課;在評論下面進行上課後和其他同學討論這門課;修改原先的評論;結課後對課程評分;修改自己個人信息;查看別人的討論 | |
典型描述 | 實時查看,實時評論,增刪改評論 |
信息 | 描述 | |
---|---|---|
姓名,年齡,職業 | B,35,大學老師 | |
收入 | 工資 | |
學歷 | 大學老師 | |
使用目的 | 想要看自己所授課程的評價,指導上課的內容 | |
用戶偏好 | 善於並且願意接受學生的反饋 | |
所占比例 | 15%-20% | |
典型場景 | 查看自己的課程,根據同學們的反饋調整教學;回復同學們在評分部分的一些問題 | |
典型描述 | 實時查看,實時討論 |
場景測試一
典型用戶:A
用戶的需求:
(1)選課前想要查看課程信息指導選課
(2)上課結束後想要評價課程幫助後來的學弟學妹
(3)修改原先的評論;
(4)修改自己個人信息,查看自己和別人的討論
典型場景:
(1)A首先打開網站,點擊註冊按鈕,輸入自己的賬號和密碼以及郵箱,在郵箱進行驗證,註冊成功(這時已經自動登錄)
(2)在首頁,A有四種可能的操作
(a)點擊自己的學校,專業,搜索某一門課程
(b)點擊學校(點擊或者不點擊專業),查看此學校或者此專業的全部課程
(c)對網站有一定的建議,點擊聯系開發者的按鈕。
(d)進入個人頁面
(3)在課程頁面
(a)A想要查看某一門課程的評價,進而決定是否學習這門課程,點擊該課程,在具體的課程頁面下拉,查看評論以及評分。
(b)A想要評價自己上過的課程,點擊該課程,在具體的課程頁面下拉,點擊“撰寫評價”按鈕,點擊“選擇學期”和“選擇老師”,然後對有趣程度、充實程度、課程難度、課程收獲四項進行評分,再書寫評論,選擇“是否匿名”,點擊“提交”按鈕完成操作。
(c)A想要對於其中的某一條評價的作者了解更多,點擊“評論”按鈕寫下自己的看法
(d)A對對於其中的某一條評價很認同,點擊“贊”按鈕點贊
(e)A的評價寫了錯字或者想要追加,分別點擊“刪除”和“修改”按鈕進行修改
(4)在個人頁面
(1)A分別點擊評論和討論查看自己的評論和討論
(2)A點擊用戶名旁邊的“修改”按鈕,修改頭像。
典型用戶:B
用戶的需求:
想要看自己所授課程的評價,指導上課的內容。
典型場景:
(1)B首先打開網站,點擊註冊按鈕,輸入自己的賬號和密碼,註冊成功(這時已經自動登錄)
(2)在首頁,B有兩種可能的操作:
(a)點擊自己的學校,專業,搜索自己的課程
(b)對網站有一定的建議,點擊聯系開發者的按鈕。
(3)在課程頁面
(a)B想要查看自己上的課程的評價,繼而指導上課的內容,點擊該課程,在具體的課程頁面下拉,查看評論以及評分。
(b)B想要對自己上過的課程的評價給出一些說明,點擊該課程,在具體的課程頁面下拉,點擊“撰寫評價”按鈕,點擊“選擇學期”和“選擇老師”,然後對有趣程度、充實程度、課程難度、課程收獲四項進行評分,再書寫評論,選擇“是否匿 名”,點擊“提交”按鈕完成操作。
(c)回復同學們在評分部分的一些問題,點擊具體評價下面的“評論”按鈕,輸入想要回復的內容,進行回復。
給出你的測試矩陣(test matrix),也即在什麽樣的平臺、硬件配置、瀏覽器類型……上對你的軟件進行測試?
測試矩陣1 | 後端功能測試 | |||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
測試機型 | 測試環境(版本和瀏覽器) | 登錄功能 | 發郵件給開發者 | 聯系我們 | 搜索課程 | 查看和寫評論 | 課程評分 | 註銷 | 回復評論 | 點贊評論 | 修改和刪除評論 | 查看個人頁面 |
聯想Z575 | win—10 Google Chrome 62.0.3202.89(32-bit) | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | |
macbookpro | macOS(64位) Safari 11.0.1 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | |
聯想 V3000 | win—10 Google Chrome57.0.2987.110(64-bit) | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 良好 | 正常 | 正常 | |
聯想 V3000 | win—10 360瀏覽器9.1 | 正常 | 無反應 | 正常 | 正常 | 無法查看 | 正常 | 正常 | 正常 | 正常 | 正常 | |
聯想 V3000 | win—10 Microsoft Edge 38.14393.0.0 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | |
華為榮耀6 | 百度瀏覽器 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | |
華為 MateS | 百度瀏覽器9.3.6.2 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 一般 | 正常 | 正常 | |
三星S6 | UC瀏覽器 | 正常 | 正常 | 無法顯示 | 正常 | 無法查看 | 正常 | 正常 | 正常 | 正常 | 正常 | |
惠普暗影精靈 | win-10 Google Chrome 62.0.3202.94(64-bit) | 正常 | 無反應 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | |
iphone 6 | Safari | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
測試矩陣2 | 前端頁面測試 | ||||||
---|---|---|---|---|---|---|---|
測試機型 | 測試環境(版本和瀏覽器) | 主頁 | 課程搜索頁面 | 課程頁面 | 評分頁面 | 追加評論頁面 | 個人頁面 |
聯想Z575 | win—10 Google Chrome 62.0.3202.89(32-bit) | 正常 | 正常 | 正常 | 正常 | 正常 | 討論和評論動態效果未對齊 |
macbookpro | macOS(64位) Safari 11.0.1 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
聯想 V3000 | win—10 Google Chrome57.0.2987.110(64-bit) | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
聯想 V3000 | win—10 360瀏覽器9.1 | 正常 | 正常 | 正常 | 正常 | 正常 | 討論和評論動態效果未對齊 |
聯想 V3000 | win—10 Microsoft Edge 38.14393.0.0 | 正常 | 正常 | 正常 | 正常 | 正常 | 討論和評論動態效果未對齊 |
華為榮耀6 | 百度瀏覽器 | 註冊欄無法全部顯示 | 正常 | 正常 | 正常 | 正常 | 正常 |
華為 MateS | 百度瀏覽器9.3.6.2 | 註冊欄無法全部顯示 | 正常 | 正常 | 正常 | 正常 | 正常 |
三星S6 | UC瀏覽器 | 註冊欄無法全部顯示 | 正常 | 正常 | 正常 | 正常 | 正常 |
惠普暗影精靈 | win-10 Google Chrome 62.0.3202.94(64-bit) | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
iphone 6 | Safari | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
你的軟件Beta版本的出口條件(exit criteria)是什麽?也即在什麽條件下,認定你的軟件已經足夠好,可以發布Beta版本?
出口條件首先是沒有嚴重影響體驗的bug出現,即應該能滿足用戶在正常流程下的需求,其次,網頁的穩定性和兼容性應該能夠滿足基本的需求,不能輕易發生崩潰(這一點通過alpha和beta的測試矩陣對比可以看出有比較大的進步)。第三點就是網頁的用戶體驗應該比較良好,不能太過於單調和醜陋。
首先是功能方面基本實現:
這部分的功能可靠性比起alpha階段有比較大的進步,從測試矩陣來看,大多數功能都能夠達到正常使用,出錯率要小於alpha階段。
1.鏈接測試
測試項目 | 測試方式 | 測試結果 |
---|---|---|
測試鏈接的正確性 | 遍歷所有的鏈接 | 鏈接均能指向設計的正確網頁 |
鏈接的有效性 | 遍歷所有的鏈接 | 從個人界面回退的時候可能會退到並非直接上次的頁面 |
2.表單測試
測試項目 | 測試方式 | 測試結果 |
---|---|---|
表單的正確性測試 | 提交的信息與網站顯示信息作比較 | 評論正確,評分正確,登錄正確,追加正確,討論正確 |
表單的等價性測試 | 兩次輸入相同的內容,將網站上顯示比較 | 評論正常,評分正常,登錄正常,追加正常,討論正常 |
異常輸入的測試 | 輸入一些不符合常理的輸入 | 登錄可以識別賬號和密碼錯誤,評分可以識別某一項未評分,評論可以要求在30字符以上,追加可以要求15字符以上 |
3.鏈接速度測試
測試項目 | 測試方式 | 測試結果 |
---|---|---|
首頁打開 | 通過瀏覽器內置的元素查看 | 344.89ms |
含有所有課程的搜索頁面 | 通過瀏覽器內置的元素查看 | 1.73s |
通過具體的信息搜索課程 | 通過瀏覽器內置的元素查看 | 975.69ms |
具體課程的評論界面 | 通過瀏覽器內置的元素查看 | 478.09ms |
個人頁面 | 通過瀏覽器內置的元素查看 | 93.38ms |
網站的穩定性測試
這一部分依舊是通過scrapy框架進行測試,通過5個模擬訪問的程序進行訪問,大概相當於130人/s進行訪問,因為動態效果的增加,相對於alpha階段網頁速度要慢,但是能正常使用。
正常訪問的響應時間
模擬訪問時候的響應時間
網站的兼容性測試
測試大部分功能都能正常使用,出錯率小於alpha階段,但是依舊在個別機型上有個別的問題,參考上面的兩個測試矩陣
(1)操作系統
測試 | 測試結果 |
---|---|
win10 | 通過 |
iOS11.0 | 通過 |
Android | 通過 |
macOS | 通過 |
(2)瀏覽器
測試 | 測試結果 |
---|---|
Safari | 通過 |
360瀏覽器 | 通過 |
Microsoft Edge | 通過 |
Google Chrome | 通過 |
百度瀏覽器(Android) | 通過 |
UC瀏覽器(Android) | 通過 |
Beta階段測試報告