一、客戶背景

上證所資訊網路有限公司是由上海證券交易所(SSE)出資設立的全資子公司，是上海證券交易所證券資訊獨家全權經營機構。上海證券交易所是國際證監會組織、亞洲暨大洋洲交易所聯合會、世界交易所聯合會的成員。上海證券市場的上市公司數、上市股票數、市價總值、流通市值、證券成交總額、股票成交金額和國債成交金額等各項指標均居首位。

二、專案背景

本測試服務專案針對雲平臺上全真環境部署的服務端以及客戶端SDK進行測試，其中SDK分為IOS和Android兩個版本。測試內容包括功能測試、適配性測試、國內及海外時延測試等，測試人員具備開發能力，根據介面檔案編寫程式碼呼叫相關函式並針對返回的資料進行驗證，可選擇離場進行，測試完成後提交相關的測試程式碼以及測試用例報告等。

三、專案過程 

1.測試領域新。針對上證雲平臺上全真環境部署的服務端以及客戶端 SDK 進行測試，需要開發完整的APP且分為Android和IOS兩個端。

2.測試範圍廣。功能測試針對Android和iOS共120個介面進行；

       時延測試使用國內6大區域4種網路環境及國外不同地區的無線網路；

       相容性測試包括國內300種Android機型、30種IOS機型、海外機型100種機型；

       自動化測試通過編寫測試指令碼對系統進行自動化迴歸測試以及日常的自動化跟帳測試。

3.資料量巨大。每天對行情、資訊資料進行跟帳測試，包括初始化階段、集合競價階段、盤中、中午休市、盤後等時間節點的檢查。其中單股數量4萬條、每天跟蹤股票30股，跟蹤週期35個交易日。

在整個SDK測試和APP開發的過程中，股票資料處理量較大，圖示形式多樣，演算法複雜；測試過程中，涉及八百餘條測試用例，包括功能、效能、資料準確性、穩定性、相容性、傳輸時延等多方面的測試，其中每日跟帳測試涉及資料最多，每日對比資料級別上百萬條。

四、專案結果

該專案於2016年12月初開始參與，經過多輪的考核與比較，憑藉具備基礎軟體測試能力移動應用測試開發能力，深厚的金融業務基礎，優秀的測試方案勝出。專案一期成功完成，於2017年5月下旬成功交付全部測試結果。 

客戶評價

服務專業，能夠充分理解需求，並且站在使用者的角度制定全面的測試策略和合理的測試方案，為我們提供了優質的開發測試服務，針對產品提出了較優秀的建議和優化點。

     

第三方獨立測試——智慧崑山 

 

智慧崑山是以“資料集中、資源共享、高效便民”為宗旨的市民公共服務平臺。市民可以通過下載安裝手機客戶端軟體，獲取新聞資訊、交通出行、政務公開、醫療教育、文化娛樂、人才服務、城市管理等本地化公共資訊及一站式互動服務。其中各介面提供了該手機客戶端服務的優質體驗，客戶要求介面支撐高達5000使用者併發的高效能指標。

測試核心理念：

1、 通過使用者體驗角度針對APP應用進行全面功能測試覆蓋；

2、 通過對客戶關注的、使用者常用模組介面進行壓力測試，尋找效能瓶頸，提供程式優化解決方案。

測試方案概述：

基於移動應用測試最大特點(覆蓋範圍廣、測試機型多)，功能測試過程中採用敏捷測試方法，將手工測試與工具測試完美結合；使用robotium錄製app操作，用spoon包做截圖與回傳處理，多執行緒執行，測試不同手機的相容性，統一收集結果

模擬真實業務場景以及併發使用者數，對APP應用各模組（公交車模組、自行車模組、民生模組、天氣查詢模組等）共13個介面進行多場景併發使用者數壓力測試，並根據測試結果，評估應用整體效能。

針對每個介面的不同併發場景進行測試的同時，對資料庫伺服器、應用伺服器的CPU利用率、記憶體使用率等指標進行實時監控，並設定頻率收集伺服器CPU、記憶體、I/O等效能指標，形成分析文件，分析效能瓶頸、發展趨勢，進而得出應用的效能是否滿足現階段的要求，提供為滿足業務要求需要進行的系統設計及程式碼優化方案。

測試方案價值：

1、 從使用者視角出發，提高使用者體驗感；

2、 測試效率提高，測試周期縮短；

3、 定量分析效能實現，以數字說話；

4、 提供效能調優解決方案。

測試方案：

伺服器資源監控指標

 

壓力測試工具結果分析指標

 

功能相容性測試統計結果

 

 

  

第三方獨立測試——用友U8效能測試

 

用友U8政務系統率先實現了從ERP到“軟體+雲服務”的跨越，用先進技術為成長型企業構建出集“精細管理、產業鏈協同、雲服務”為一體的管理與電子商務平臺。通過“軟體+雲服務”的模式，U8+可以讓企業管理者管理更輕鬆、經營更敏捷、決策更智慧、協同更緊密、應用更時尚。

應用核心理念：

繼承和發揚助力企業精細管理特質的同時，為支援企業商業模式變革及企業整個上下游產業鏈經營協同帶來革命性的變化。

測試方案概述：

通過錄制編寫HTTP協議指令碼，使用虛擬使用者建立基準測試、單場景測試、混合場景測試模擬真實使用者對系統的請求操作，主要針對業務系統兩大業務型別——財政、財務中具有代表性的多種業務型別，發起操作流程完成對被測系統的加壓，監控並記錄被測系統的響應能力，各伺服器的資源使用情況，獲取響應時間、吞吐率、事務成功率等各項效能指標，並根據測試結果分析系統的效能瓶頸，評估系統的整體效能。

測試方案價值：

1、 場景設計全面且貼近真實使用場景；

2、 測試中心專家全程指導，全方位分析效能瓶頸，權威可信賴。

測試方案：

單場景設計用例

 

混合場景用例設計

 

系統平均響應時間

 

平均每秒請求數

     

移動金融產品測試——錦州銀行“即時貸” 

 

錦州銀行“即時貸”APP產品，面向城市商業銀行/農信社打造全流程線上即時貸款模式，滿足小微企業用款頻急，三農客戶地處偏遠特點，實現貸款業務當面辦理、即時到賬，解決小微企業及三農服務的最後一公里問題。

測試形式：

1、 針對APP產品進行主流手機機型相容性測試；

2、 針對移動金融產品進行全面安全性測試；

3、 針對APP產品進行移動應用專項效能測試。

測試方案概述：

1、針對移動應用APP產品，受眾範圍廣、裝置載體型別及型號多的特點，對移動應用APP產品進行全功能相容性測試，挑選國內主流手機品牌（華為、三星、小米、魅族、VIVO、OPPO等），針對主流手機品牌下不同型號、不同系統版本、不同解析度的300款手機進行APP的安裝、功能使用、解除安裝測試，同時可收集每款手機在APP執行過程中的流量消耗、電量消耗、CPU及記憶體佔用情況等資訊。

相容性測試機型資訊

 

問題等級說明

 

2、針對金融產品安全性高要求的特點，對移動金融產品（移動辦貸APP、移動租賃APP、網際網路金融理財APP等）進行全面的安全性掃描，統計問題型別、有漏洞的URL，提出安全風險以及產生安全問題的原因，並給予詳細的修訂建議。

安全性測試問題型別彙總

 

SQL盲注類問題詳細資訊

 

針對安全問題的建議解決方案

 

3、針對APP應用在使用過程中，消耗手機效能的特點，針對APP使用進行APP應用專項流量、電量、啟用耗時、CPU及記憶體佔用率等情況進行測試，統計各機型效能消耗情況，協助APP應用效能調優。

總體效能報告 

       

江蘇匯知測試諮詢服務案例 

  江蘇匯知網路科技有限公司是一家中型軟體公司，擁有自主研發的2類產品、1個交易平臺和3大課件製作工具，在雲教育市場中有一定的客戶群體，產品處於推廣和發展的初期，已有一定規模。在產品發展過程中，開發過程不規範，工期緊任務重，測試體系不完善，導致產品質量急劇下降，嚴重影響客戶滿意度，導致老客戶的丟失、市場份額的降低。公司內部開始重視產品質量，希望規範產品開發流程、累積過程文件。   全方位、分層次的軟體測試服務： 基本的軟體測試服務。包括參與產品需求與設計，完成產品高強度功能測試，基礎功能簡單的自動化實現，提供關鍵功能效能測試，輸出標準的測試文件。 軟體過程質量管理制度的建立。針對公司的實際情況，分析存在的問題，協助梳理公司流程，完善過程文件積累，滲透軟體測試理念，有針對性的建立符合公司當前實際情況的測試管理體系。 產品功能升級和改善建議。針對當前產品的現狀，提供產品升級風險評估，新功能對舊模組的影響性分析，舊資料對接可行性分析等。瞭解同類產品，提供產品功能優勢對比分析，使用者互動體驗對比分析等服務。   相對於傳統第三方測試的優勢： ★ 無刻板的輸入輸出準則，進駐現場後可快速開展工作； ★  ★  ★    專案實施過程介紹：             2014.04  瞭解開發測試流程，分析過程問題：三月份進入現場，逐漸承擔起三條主要產品線的測試工作，同時瞭解了企業當前從需求到釋出的工作流程，並梳理了過程中存在的問題。   2014.06  根據經驗給出優化流程的意見，針對問題提供解決方案：專案前期主要是根據在咱們公司的工作經驗和曾經參加CMMI L3的認識，提供流程優化的方法，針對過程問題制定規範。 2014.08  實現了測試環境的統一和固化：在內網模擬了外網真實的環境進行測試，統一了原有內外網兩套測試環境，有效減少了測試工作量，並更好的保證了產品的質量。 2014.09  完善已有模組測試用例，明確制定了各種流程規範：明確了定期發版的時間和發版制度，制定了需求評審、資料庫設計和評審等流程規範，總結了定期需要回歸測試的內容，引入了晨會制度加強溝通明確每日目標。 2014.11  優化測試流程，簡化用例模板：推進了測試用例評審流程，形式定義為會議評審，其作用得到開發經理認可；重新選定了缺陷管理工具，方便了缺陷的統計和管理；簡化了測試用例模板，提高測試用例編寫和評審效率。 2014.12  正式引入效能測試和自動化測試：針對新功能模組識別效能測試需求，通過預估功能的外網使用者量明確性能測試標準；部分產品小部分功能實現自動化測試。     客戶反饋問題折線圖         發版前後缺陷對比圖       最終，實現了過程結果的全面優化。有了標準的准入準出口，完善了具體的過程文件，有了契合實情的測試流程，建立了良好的軟體過程質量管理規範。最終，有效保證產品更新質量，充分滿足產品功能需求，保證穩定的產品功能特性，提供良好的使用者互動體驗。