評測：業務可用性撥測產品對比分析
聽雲（北京基調網路股份有限公司）成立於2007年，是國內首家推出業務可用性撥測產品的第三方企業，第一代產品名為“聽雲Network”。聽雲採用完善的會員機制發展了遍佈全球的會員終端，經過多年積累目前擁有了中國國內最大的效能質量監測網路平臺，有全球超過2000家客戶在使用。中國Alexa排名前100位的網際網路企業有89家在使用聽雲Network的服務，客戶群體包括華為、騰訊，處於行業領先地位。
聽雲不斷完善自己的產品線，目前可為各行業企業提供完整覆蓋使用者端、網路、伺服器端、業務等全棧實時的監控與大資料智慧分析平臺。實現程式碼級應用效能監控、真實使用者體驗監控、實時業務能效監控，產品線包含數字終端體驗監控（
聽雲在發展產品線的同時，在業務可用性撥測產品領域並沒有停滯不前，在2010-2017年釋出了聽雲AST、聽雲移動撥測等第二代撥測產品，並首次推出CDN綜合分析和獨創首屏時間，其中首屏時間獲得國家級發明專利並被工信部採納。歷史的接力棒，交給創造歷史的人，在2018年，聽雲經過近一年的封閉式研發，推出了名為“聽雲AppBench”的第三代業務可用性撥測產品，該產品同樣獲得多項國家專利，過硬的產品質量一經推出獲好評不斷，聽雲前期累積的大量客戶，讓產品一上市就異常火爆。下面我們就帶來這款升級產品的獨家分析。
聽雲AppBench推出的背景（關注品質，不要關住品質）
移動App作為數字世界最主要、最自然的入口，已經無處不在。各種App為人們帶來巨大便利的同時，也成了人們日常生活的嚴重依賴，與此同時，競爭日趨激烈，這必然對App的質量提出了更高、更苛刻的要求。在這種情況下，App的提供者會面臨什麼問題？
l 如何在釋出前更多的發現問題？
l 如何在釋出後持續監控關鍵業務（效能和成功率）而又不影響真實使用者？
l 如何讓測試廣泛覆蓋真實場景中的各維度？
l 如何與競品進行客觀對比？
l 如何快速高效地進行測試工作？
以上的問題就是聽雲AppBench推出的初衷和使命，聽雲的目標就是要幫助App的提供者快速地、全場景覆蓋地推進測試工作，幫助客戶打造高品質App。
聽雲AppBench是什麼？（和你一起守護，你守護的測試任務）
聽雲AppBench是一個雲端的自動化測試平臺，它利用雲端的真機資源，以任務排程的方式，完成客戶的測試任務。
l 自動化測試，從安裝App到啟動App和執行指令碼，乃至報告和告警，都是自動化進行；
l 全方位覆蓋測試，覆蓋真實使用場景中的各維度，包括各種機型、系統版本、城市、運營商、網路型別等等；
l 深度資料採集和分析，它能採集深度的、豐富的資料，從而進行深層次問題分析，從不同層面分析和評估App，資料包括：啟動、崩潰、卡頓、慢互動、網路響應時間、DNS、建聯、SSL握手，還有CPU、Memory、FPS等等，還有任務時長（某業務）、步驟時長（業務的某環節），尤其是，這些資料並非相互孤立，而是相互關聯的。
l 自定義的競品分析，可以定義與哪些競品比較，以及對比哪些資料
現有撥測產品分析（改變不了世界，改變自己容易一些）
聽雲，作為撥測行業的領軍企業，新的撥測產品具有哪些獨有的優勢呢？下面重點介紹下：
l 撥測節點的覆蓋是撥測產品最核心指標，聽雲AppBench部署和升級簡單，有利於撥測節點的快速上線，目前無論是iOS的節點還是Android節點都覆蓋全國各省會城市，遠遠領先傳統撥測產品。
傳統的撥測節點使用自建節點的方式進行部署，部署模式依賴PC+手機的方式，也就是部署撥測節點必須要PC主機。這種部署方式的缺點有：
1、PC和手機方式，主要是自建，成本高；
2、部署笨重，佔地、耗電、安全、風險;
3、維護不易，裝置更換、系統升級麻煩。
傳統撥測節點部署
聽雲在規劃產品時經過了無數次產品預研、試驗，終於打破了常規，推出了全新的撥測節點部署模式，繼續沿用聽雲自第一代產品就實行的會員模式，同時也可以兼顧自建撥測節點，該方式的巨大優勢立刻呈現出來，表現在：
1、成本，只有一個藍芽控制器的成本，手機是會員共享的；
2、部署簡易，會員的手機，只要下載兩個app，與藍芽控制器配對即可；
3、安全和風險：會員自己承擔自己手機的電、網，以及手機的安全風險；
4、維護容易，會員自己維護手機，我們可以用積分等各種策略引導裝置的更新更換。
聽雲AppBench撥測節點部署
l 指令碼編寫能力是撥測產品又一核心能力，聽雲AppBench在指令碼能力表現更加強大靈活
指令碼編寫靈活性和適配能力，是撥測產品核心能力，相比於傳統的撥測產品，聽雲AppBench的指令碼編寫更靈活，更智慧。在指令碼編寫能力上聽雲獨家支援任意複雜的判斷和控制、能訪問APP內任意物件、能接受APP內通知、能自動感知UI元素內容變化。
|
對比模組 |
傳統撥測產品 |
聽雲AppBench |
|
指令碼能力 |
1、元素查詢 |
1、元素查詢 |
指令碼能力對比
l 多資源關聯分析：任務執行期間的網路瀑布圖、CPU、RAM、FPS與任務的步驟關聯，並在時間刻度上對齊，並關聯步驟的截圖、步驟的log，強力支援問題的排查分析。
相比於傳統的撥測產品只能提供步驟的截圖和步驟的效能指標，聽雲AppBench還可以提供相對應每步的log，和每個步驟的資源消耗，這樣多資源的關聯分析可以協助客戶更加快速高效的發現問題所在，並精準鎖定根因。產品真實截圖如下：
多資源關聯分析
l 網路分析指標全面，獨家支援對網路的丟包率，延時，連線複用率，IPv4和IPv6指標對比等功能。
網路環境比較複雜，包括了運營商，CDN，雲等，這部分環境對於最終APP使用使用者的體驗影響較大，也是很多客戶難以掌控的環節。相比於傳統撥測產品，聽雲AppBench可以提供多達17項網路指標，配合上大規模包括各省份，各運營商的節點覆蓋，可以為客戶提供更全面精準的網路分析能力。可以為終端使用者提供網路測試，CDN選型，機房選型，鏈路選型以及日常服務質量的重要資料支撐。
|
對比模組 |
傳統撥測 |
聽雲AppBench |
|
網路分析指標 |
1、網路請求數 |
1、網路請求數 |
網路分析指標對比
聽雲AppBench市場優勢（歷史的接力棒，總會交給創造歷史的企業）
聽雲作為國內首家推出業務可用性撥測產品的企業，自2007年推出第一代產品起到推出第三代產品AppBench，經過10年發展，目前聽雲在金融行業的應用規模業界第一，其中12家股份制商業銀行有9家都與聽雲有合作。此次我們選擇了其中幾家進行對比分析，得出結論如下
1.某企業服務平臺（以下簡稱T）
T的優勢在於佈局早，是行業先行者，其業務在遊戲領域優勢突出。其劣勢在於，部署模式過時，實驗室集中部署模式只能滿足機型相容的測試，然而真實場景遠不止機型的多樣性，運營商、網路、CDN等更多種因素影響著App的效能，也帶來更多例外，實驗測試方式結論的價值和意義令人懷疑。T主要是相容性測試，發版後的測試不是其關注點和方向。
2.某傳統的相容性撥測公司
其APP撥測產品在T之後，技術原理與T類似，重點改進了撥測只能在一個機房進行測試的情況，但因實現原理上的限制，其撥測節點仍然難以部署和升級，撥測點覆蓋非常有限，遠遠達不到現階段客戶實際業務覆蓋全國的格局要求。此外指令碼編寫，分析能力上都屬於比較初級和簡單的狀態。
因為APP撥測是很多客戶的剛需，所以其產品推出後也一定程度填補了空白，在部分金融客戶得到了應用。
3.聽雲AppBench
聽雲AppBench產品是聽雲10年來在撥測行業不斷進行技術累積，傾聽客戶反饋後厚積薄發所推出的第三代撥測產品，其新的模式、新的技術都攻克了真機撥測的無數難題，在真實使用場景、易部署、易維護、保持裝置更新和系統更新方面有技術上的獨特優勢。同時其中的資料採集引擎，經歷多年時間和8億+裝置磨鍊驗證。
聽雲真機App聚焦金融和運營商行業，已經為多家銀行、證券，運營商提供了測試/撥測服務，其中的資料採集模組更是被銀行+證券幾十家企業使用認可。從業務視角到效能資料的穿透式分析，不僅發現問題，更能深層次定位問題。
觀察總結
通過本次對聽雲業務可用性第三代撥測產品AppBench的市場分析發現，聽雲作為最早推出撥測產品的企業，一直引領行業發展。在行業認可上，首家獲得國際認可的效能監測企業，5次入選Gartner APM魔力象限。另外，在技術實力上，聽雲獲得首屏、APP撥測等多項技術專利。聽雲已成立14年，但仍在繼續打磨其初創產品並不斷推陳出新，我們在聽雲AppBench看到了對於問題的不妥協，也看到了聽雲的技術實力。最後，我們想說的是對於懷揣初心的企業，值得得到掌聲與鮮花。