HMI智慧座艙自動化測試之效能測試
隨著智慧座艙領域數字化、智慧化的飛速發展, 座艙功能/互動日益複雜，自動化測試技術的出現，實現了測試成本降低、測試周期縮短、測試可信度提升，發揮著不可替代的作用。
HMI智慧座艙自動化測試包含功能測試、壓力測試、相容性測試、效能測試等等多項測試內容，最大限度地確保產品的品質，接下來我們具體講解下效能測試如何來實施。
智慧座艙的效能測試是通過自動化的測試工具模擬多種正常、峰值以及異常負載條件來對系統的各項效能指標進行測試。選擇適合業務邏輯的方式，用最低的成本、最快的時間來做出最有價值的事情。
|
No. |
專案 |
描述 |
|
1 |
能力驗證 |
主要是驗證系統是否具備宣傳的能力，即“系統能否在 A條件下具有 B 能力”，通常要求在明確的軟硬體環境下，根據明確的系統性能需求設計測試方案和用例。 |
|
2 |
能力規劃 |
關注如何才能使系統達到要求的效能和容量。通常情況下，我們會採用探索性測試的方式來了解系統的能力。 |
|
3 |
效能調優 |
效能調優主要解決效能測試過程中發現的效能瓶頸的問題，通常會涉及多個層面的調整，包括硬體裝置選型、作業系統配置、應用系統配置、資料庫配置和應用程式碼實現的優化等等。 |
|
4 |
缺陷發現 |
通過加大負荷，甚至突破上限，從而發現並修復體系中存在的瓶頸或薄弱的環境。 |
HMI常見硬體效能測試包括以下：
- 音訊測試引數：輸出失真度、信噪比、頻響等；爆破音檢測、斷續音量檢測
- 視訊測試引數：複合視訊輸出電平、亮度信噪比、色度信噪比等
- 供電效能測試：供電電壓緩升緩降、發動機啟動電壓波形、過電壓測試等
- USB 充電電流測試
- IVI 系統暗電流測試
- AM/FM/RDS 測試引數：頻率範圍、中頻頻率、信噪比等
- WLAN 測試引數：發射功率、EVM、接收靈敏度等
- 藍芽測試引數：輸出功率、單/多時隙靈敏度、最大輸入電平等
- 2/3/4G測試引數：發射功率、EVM、接收誤位元速率
- 其他物理指標：溫度等
HMI常見軟體效能測試包括以下：
- 檢測被測應用的滑動幀率、丟包數、流暢度等
- 使用者操控時，CPU、記憶體、磁碟IO和網路IO等效能指標
- HMI啟動耗時
- 接收包錯誤率 接收乙太網資料包時每秒錯誤數
- 觸控式螢幕響應時間，UI 介面動態遷移時間等
- 導航測試引數：冷/熱啟動時間，定位精度，重新捕獲時間等
- 檢測記憶體洩漏、資源競爭、死鎖問題
- 系統OTA升級效率
- 系統吞吐量
下面我們針對軟體方面的效能測試進行舉例說明。
測試目標
從2個角度設定自動化測試的匯入目標。
- 自動化測試覆蓋度：在單一專案中，可轉化為自動化測試用例的比例。覆蓋度=自動化測試用例數/所有測試用例數*100%
- 自動化測試生產性指標：在單一專案中，自動化測試的用例做成指標及執行指標。做成生產性指標=XX件/天，執行生產性指標=XX件/天
自動化測試品質指標：在單一專案中，自動化測試檢出的缺陷數量。缺陷率=XX/千用例
|
指標 專案 |
自動化測試 |
用例做成 |
用例執行 |
軟體 |
|
滑動幀率FPS |
100% |
40 |
N |
10 |
|
流暢度Smoothness |
100% |
40 |
N |
10 |
|
CPU使用率 |
100% |
40 |
N |
10 |
|
記憶體使用率 |
100% |
40 |
N |
10 |
|
網路IO頻寬以及延遲 |
100% |
40 |
N |
10 |
測試方法
針對上一節提到的幾種效能測試場景，分別舉例通過一個用例進行自動化測試方法的論述。
【滑動幀率FPS】
條件準備：
- 製作針對與某一應用的自動化測試指令碼，如在地圖APP裡進行放大縮小、搜尋、切換路徑等操作
- 準備多種場景，如實車、常溫實驗室、高低溫箱、高低壓箱等
- 結果確認：確認滑動幀率FPS值是否穩定且保持較高值
測試方法
- 開啟效能檢測視窗，勾選滑動幀率FPS檢測
- 在不同場景下，程式執行自動化測試指令碼（單次或重複執行多個小時）
- 執行完畢之後，檢視效能測試報表，判斷滑動幀率的穩定性
【流暢度Smoothness】
條件準備：
- 製作針對與某一應用的自動化測試指令碼，如在短視訊APP裡進行切換、搜尋、評論等操作
- 準備多種場景，如實車、常溫實驗室、高低溫箱等
- 結果確認：確認流暢度Smoothness值是否穩定且保持較高值
測試方法
- 開啟效能檢測視窗，勾選流暢度Smoothness檢測
- 在不同場景下，程式執行自動化測試指令碼（單次或重複執行多個小時）
- 執行完畢之後，檢視效能測試報表，判斷流暢度的穩定性
【CPU使用率】
條件準備：
- 準備涉及常規功能測試的自動化指令碼
- 準備多種場景，如實車、常溫實驗室、高低溫箱等
- 結果確認：確認CPU使用率大部分時間處於較低狀態，偶爾出現高值也會迅速回落
測試方法
- 開啟效能檢測視窗，勾選CPU使用率
- 在不同場景下，程式執行自動化測試指令碼（單次或重複執行多個小時）
- 執行完畢之後，檢視效能測試報表，判斷功能測試用例對CPU資源的損耗
【記憶體使用率】
條件準備：
- 準備涉及常規功能測試的自動化指令碼
- 準備多種場景，如實車、常溫實驗室、高低溫箱等
- 結果確認：確認記憶體使用率大部分時間處於穩定狀態，未出現記憶體洩漏問題或記憶體溢位問題，當推出應用後，有明顯的回收記憶體現象
測試方法
- 開啟效能檢測視窗，勾選記憶體使用率
- 在不同場景下，程式執行自動化測試指令碼（單次或重複執行多個小時）
- 執行完畢之後，檢視效能測試報表，判斷功能測試用例對記憶體資源的損耗
【網路IO頻寬以及延遲】
條件準備：
- 準備涉及對網路有較高要求的測試指令碼
- 準備多種場景，如室外、室內、地下停車場、野外等
- 結果確認：確認不同場景下的網路上下行頻寬以及網路延遲基準
測試方法
- 開啟效能檢測視窗，勾選NetWork監控
- 在不同場景下，程式執行自動化測試指令碼（單次或重複執行多個小時）
- 執行完畢之後，檢視效能測試報表，確認不同場景下的網路上下行頻寬以及網路延遲效能及穩定性