AIApe問答機器人Beta階段測試報告
阿新 • • 發佈：2021-06-16
壓力測試
對各常用介面進行壓力測試。
| 介面 | 請求量 | 併發使用者數 | 平均完成時間/s | 請求成功率 |
|---|---|---|---|---|
| 登入 | 500 | 50 | 0.3519 | 100% |
| 聊天 | 500 | 50 | 1.0641 | 100% |
| 搜尋問題 | 500 | 50 | 1.3601 | 100% |
| 程式碼分析 | 500 | 50 | 0.4058 | 100% |
| 最新問題 | 500 | 50 | 0.6752 | 100% |
| 熱門問題 | 500 | 50 | 0.8687 | 100% |
| 提問 | 500 | 50 | 0.3825 | 100% |
| 回答問題 | 500 | 50 | 0.4804 | 100% |
| 修改問題 | 500 | 50 | 0.3787 | 100% |
由於搜尋問題和聊天兩個功能都需要將文字輸入模型，從模型得到結果，所以伺服器相應的時間較慢。
場景測試
要說明的是，在實際的測試中，團隊儘可能的模擬了各種情景，由於篇幅原因，這裡只舉了兩個比較典型的案例。
典型使用者（擷取自AIApe問答機器人功能規格說明書）
| 名字 | 小軒 |
|---|---|
| 使用者身份 | 某校計算機學院學生，進階使用者 |
| 年齡 | 21歲 |
| 典型場景 | 小軒能解決絕大多數簡單的程式設計問題，但是在配置環境和一些複雜的程式設計場景下，它需要藉助網路上的資料來解決問題。（複雜程式設計環境包括完成複雜工程專案，構建神經網路等） |
| 主要使用環境 | 教室，宿舍，圖書館，實驗室。 |
| 生活工作情況 | 為了完成各種大作業和DDL而經常晚睡早起。Debug和在網上學習相關概念和知識是他的常態。 |
| 相關知識能力 | 具備較熟練的程式設計技能和相應計算機領域的知識。 |
| 使用者的動機 | 小軒能解決絕大多數簡單的程式設計問題，但是在配置環境和一些複雜的程式設計場景下，他需要藉助網路上的資料來解決問題。 |
| 使用者的偏好 | 希望搜尋到的問題與自己的問題相符，回答能夠專業並且詳細。 |
| 名字 | 老鄧 |
|---|---|
| 使用者身份 | 某校計算機學院學生，公認大佬，神 |
| 年齡 | 21歲 |
| 典型場景 | 大佬喜歡程式設計，對知識掌握深刻。他頻繁地穿梭於Stack Overflow、知乎這類問答網站社群中，並且熱衷於將自己的知識分享給他人！ |
| 主要使用環境 | 教室，宿舍，圖書館，實驗室。 |
| 生活工作情況 | 大佬的生活很充實，除了每天超份額完成作業之外，還會和周圍的同學分享自己的經歷和知識。他經常因為實驗室的專案或助教工作忙到很晚。 |
| 相關知識能力 | 擁有較強的程式設計能力，深入理解計算機知識並且知道怎樣快速搜尋問題，簡潔明瞭地回答問題。 |
| 使用者的動機 | 回答問題會有一定的回報；回答別人的問題可以幫助自己加深對於知識的理解。 |
| 使用者的偏好 | 大佬喜歡在摸魚或者休息的時候逛一逛網站，順便尋找一些自己想要回答的問題。 |
場景1
小軒想要問一下C語言IDE：VS Code的安裝方法。
- 小軒打開了網站，在右側註冊了賬號，並登入。
- 小軒直接向機器人提問，VS Code的安裝方法。
- 正如他意，機器人提供了VS Code的安裝指導連結
- 小軒進入連結後，根據回答完成了相關的安裝
- 小軒對這個詳細的回答很滿意，併為它點了贊
場景2
老鄧很喜歡為同學們解答問題，於是他打開了網站：
- 註冊登入之後，他發現了非常多別人解答過的問題
- 點開一個問題後，他發現別人的回答並不理想
- 他開始編輯自己的回答，並且將其發表
- 後來，老鄧發現自己的回答有誤，他去到了個人中心，刪除了原來的回答
後端單元測試
單元測試結果（來自於CI/CD)
2021-06-16 13:34:58: [INF] line-coverage: 50.27 % (4036/8028)
2021-06-16 13:34:58: [INF] branch-coverage: 44.02 % (634/1440)
單元測試主要很多地方需要依賴外部的程序，比如靜態分析依賴astyle、cppcheck，整個機器人都依賴於NLP的微服務，還有一些別的地方也依賴與NLP的微服務，沒法測。同時還有很多地方是配置性質的，也不好測。所以後端盡力將單元測試覆蓋率提高到了50%.
前端互動、測試issue記錄
lhx同學在進行場景測試時，總結了Bugs和一些互動修改意見，彙總到了前端互動細節彙總。
後端bug記錄
負責後端的dxy和lmx同學將發現的Bug進行了適當的記錄和彙總：AiApe問答機器人專案後端Bug彙總
測試矩陣
正常表示功能可以正常實現，載入較慢表示載入時間超過5s。
| 裝置或環境: 瀏覽器型別 | 進入網站 | 註冊 | 登入 | 回答問題 | 提問/修改回答 | 刪除問題 | 機器人互動 | 程式碼發分析 |
|---|---|---|---|---|---|---|---|---|
| Windows10: Chrome | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| Windows10: IE | 失敗 | 失敗 | 失敗 | 失敗 | 失敗 | 失敗 | 失敗 | 正常 |
| Windows10: Edge | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| iPhone8 plus: Quark | 載入較慢 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| iPhone8 plus: Safari | 正常 | 正常 | 正常 | 體驗不佳 | 體驗不佳 | 正常 | 正常 | 體驗不佳 |
| iPad pro 2020 Safari | 正常 | 正常 | 正常 | 體驗不佳 | 體驗不佳 | 正常 | 正常 | 體驗不佳 |
| Huawei P20 Via瀏覽器 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| Huawei P20 華為瀏覽器 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| iPad air 4 Safari | 正常 | 正常 | 正常 | 體驗不佳 | 體驗不佳 | 正常 | 正常 | 體驗不佳 |
| iPad air 4 Chrome | 載入較慢 | 正常 | 正常 | 體驗不佳 | 體驗不佳 | 正常 | 正常 | 體驗不佳 |
| iPad air 4 Quark | 載入較慢 | 正常 | 正常 | 體驗不佳 | 體驗不佳 | 正常 | 正常 | 體驗不佳 |
iPad移動端適配整體體驗不佳，當橫屏使用時，出現多處按鈕被覆蓋無法點選的情況。
出口條件
- 通過所有場景測試
- 通過較為小規模的壓力測試
- 在各主流平臺上執行流暢
- PC端瀏覽器使用者體驗尚可