使用者體驗質量測試是IPTV成功的關鍵要素
摘要：隨著IPTV業務的部署，電信運營商的網路設施（包括寬頻接入、匯聚和核心網）發生了巨大的變化。由於IPTV網路設施、協議和業務的複雜性，運營商在日常的網路開通、維護工作中面臨著許多新的挑戰，而保障良好的使用者體驗質量（QoE）是IPTV業務得以成功發展和推廣的關鍵所在。本文在分析了IPTV裝置和網路生命週期各個階段的測試需求的基礎上，提出了一整套全面的IPTV QoE測試技術和解決方案，並介紹了其在IPTV裝置研發、網路部署和維護中的應用。
1 IPTV業務發展所面臨的挑戰
隨著IP網路和應用的迅速發展以及電信市場競爭的日益加劇，全球的各大電信運營商正掀起一股股IPTV網路建設和三重播放業務發展的熱潮。IPTV可堪稱是繼90年代末電信運營商部署光纖之後的又一次進行大規模資本投入的唯一動力，它將有助於有線電信運營彌補由於長途電話業務不斷萎縮所造成的鉅額虧損。據預測，到2009年全球IPTV業務的收益可達440億美金。而在IPTV的競賽中落伍者將很難得以持續發展和生存。為了能夠在激烈的競爭中獲勝並盈利，
作為一種數字視訊業務，IPTV必須同傳統的有線電視競爭。由於人們已經習慣了有線電視低廉的收費標準、不中斷的業務可用性和快速的頻道切換時間，因此如何保證IPTV使用者體驗質量能達到（或超過）有線電視就成為IPTV成功的關鍵要素，其中主要包括清晰的視訊影象質量和快速的頻道切換時延等。而另一方面，由於IPTV需採用組播方式進行業務釋出，這促使電信網路設施（包括寬頻接入、匯聚和核心網）發生了巨大的變化，要求網路能支援高度分散式的信令架構、各種新的組播協議和更完善的IP QoS控制體系。而這些變化勢必也會給運營商在
2 IPTV裝置和網路生命週期各階段的測試需求
針對以上IPTV網路建設、管理和維護所面臨的挑戰和問題，裝置廠家和網路運營商十分迫切地需要一整套全面的IPTV測試技術體系和解決方案，在IPTV裝置和網路生命週期的各個階段（包括研發、裝置整合、網路規劃、安裝、開通和運營維護）統籌、有效地對IPTV QoS和QoE的各項指標進行測量，不斷增強網路裝置的效能、迅速診斷和解決網路故障、優化網路效能，從而改善和提高
2.1 對IPTV網路裝置的QoE效能驗證
隨著IPTV網路運營商對使用者體驗質量的日益關注，網路裝置製造商也在極力設計並測試可在IPTV網路中提供出色的服務質量（QoS）和使用者體驗質量（QoE）的裝置。
在以往的網路裝置效能測試中，人們通常只關注裝置自身的轉發效能和IP服務質量（QoS），如吞吐率、丟包率和時延等指標。在實現方式上，網路裝置一般通過將不同的優先順序策略應用到不同業務型別的流量上，以確保每種業務流均以最適當的方式被處理。例如，話音流對延遲非常敏感，所以通常給予較高的優先順序；而資料流（例如檔案傳輸或電子郵件）對實時性要求不高，因此可以賦予較低的優先順序。而三重播放的消費者通常不會關注流量的優先順序和資料包丟失的個數，他們更在意的是VoIP通話是否清晰，IPTV節目是否流暢，影象是否清晰。從這個角度看，如何保證使用者體驗質量才是網路裝置研發和測試時，真正需要考慮的關鍵要素。因此，網路裝置製造商必須在實驗室中就嚴格測試其IPTV裝置，模擬真實的網路環境和使用者業務流特徵，並制定出QoE測量的方法和指標。
在三重播放業務中，由於視訊流不但對網路頻寬的要求高，而且對時延抖動和資料包丟失的容限低，這就對網路裝置提出了獨特要求。為了有效評價網路裝置對IPTV業務的支援能力，可以採用RFC 4445標準所定義的媒體流傳輸指標（MDI），在網路層上衡量預期的使用者視訊體驗質量。它不受視訊編碼方案的影響，是一種簡單、可擴充套件的測量方案，可以在一定程度上替代對視訊本身進行解碼和檢驗的MPQM和V引數等測量方法。在本文的3.2.1章節中還會進一步介紹MDI的詳細指標和應用。
在IPTV網路中，網路裝置通過組播來向用戶傳送IPTV節目流，終端使用者的機頂盒採用IGMP（因特網組管理協議），通過離開和加入不同節目所對應的組播流來切換頻道。顯然，機頂盒離開和加入組播流的速度將直接影響使用者的頻道切換體驗質量。如果使用者期望的頻道切換時延在一秒鐘左右，則在端到端IPTV路徑中的每個網路裝置所能引入的時延應不超過100毫秒。因此，對於支援IGMP協議的網路裝置的頻道切換的效能驗證是IPTV裝置評估必不可少的測試專案。
此外，為了確保IPTV網路裝置能在真實網路中穩定執行並提供所要求的QoE效能指標，還必須在實驗室環境中對其進行各種極限測試。例如，可以用測試儀表向被測裝置模擬產生上百路的IPTV組播流，同時模擬上千路的使用者對這些組播流進行訪問，並測試MDI和頻道切換等各項QoE指標，從而驗證網路裝置是否能達到規模建網的基本要求，並滿足將來不斷增加的IPTV使用者數量和流量的需求。
2.2 IPTV網路的開通測試、QoE監測和故障診斷
在裝置研發階段，在確保了單個裝置能夠達到設計所要求的各項技術指標之後，並不一定能保證建成後的IPTV網路能提供端到端的服務質量和良好的使用者體驗質量。由於真實的IPTV網路環境將會更為複雜，使用者體驗質量會受多方面因素的影響。
在IPTV建網初期，主要需要解決系統整合和裝置的互操作性問題。端到端的IPTV業務的提供會涉及四個主要的裝置系統，包括視訊前端（儲存應用和節目內容）、傳輸網路（包括核心網、匯聚和寬頻接入網路）、中介軟體（控制通過網路將電視內容和互動服務從前端傳輸到使用者家中的軟體）和客戶端裝置（安裝在使用者家中並與電視連線的機頂盒）。既使以上所有系統都能單獨正常工作，當它們整合在一起構成一個網路時，由於裝置之間的相容性問題、引數配置不匹配和網路線路質量等因素，都可能造成端到端的使用者體驗質量問題。在這一階段，主要的測試內容包括：使用物理層光纖和線纜測試儀表對傳輸線路進行效能認證測試；使用IP網路效能測試儀進行端到端IP承載網QoS評估測試（可基於RFC 2544標準）；使用IPTV協議分析儀對關鍵的裝置介面進行協議監測，包括：IGMP、PIM-SM/SSM、RTP/RTCP、HTTP MMS和RTSP等，從而迅速排除裝置之間的互操作性問題；並可對IPTV的各項QoE指標進行全面評估測試和報告生成，以便作為評估將來網路QoE指標變化的參考依據。
在IPTV網路運營階段，隨著時間的遷移，網路裝置和線路將逐漸損耗和老化，IPTV使用者數量將不斷增加而使得網路流量增大，各種新業務內容的引入會使得網路流量組成更為複雜，更多IPTV終端型別的引入會造成新的相容性問題。所有這些因素，都會使得IPTV使用者體驗質量保證變得更復雜和更具挑戰性。而另一方面，市場競爭將會逐步激烈，為了留住老使用者和吸引更多的新使用者，使用者體驗質量也就變得更為重要了。在這一階段，網路運營商往往需要部署IPTV監測系統，來保證網路QoS和使用者體驗質量。IPTV監測系統需具備以下功能特點：
*採用高效能的硬體探針進行100％的IPTV流量捕獲，能對上百路的IPTV組播流進行實時的QoE/QoS指標統計和分析。
*硬體探針應具有分散式部署能力，可通過GPS或NTP機制實現不同地理位置的探針之間的時鐘同步。
*如圖1所示，在IPTV的網路關鍵位置（如視訊前端的輸出介面、IP核心網、匯聚網和寬頻接入節點）部署探針，並能將這些不同位置所採集的QoE/QoS資料進行彙總和關聯分析，從而便於定位造成使用者體驗質量下降的瓶頸網段或節點。
*能夠對IPTV終端使用者的體驗質量進行準確的測量，包括視訊影象質量和頻道切換時延等。若關鍵的業務質量引數發生劣化並超過設定門限時，系統能及時產生告警以通知網路管理維護人員。
*可提供一系列故障診斷工具，由上而下地逐層分析造成QoE指標下降的根本原因，包括：視訊MOS、MPEG TS傳送碼流告警（根據ETSI TR 101–290標準）、RTP/RTCP QoS（如丟包率、往返時延和抖動等指標)、UDP/IP和乙太網等各層的健康指標統計、1－7層的協議解碼。
*支援多使用者操作架構，多個網路工程師可以通過客戶端軟體接入到連線硬體探針的多使用者伺服器，同時進行實時的資料採集和各種測試分析操作，從而可充分發揮硬體探針的使用效率，提高測試系統的投資回報率（ROI）。
圖1：分散式IPTV監測系統的部署示例
2.3 診斷家庭網路導致的IPTV體驗質量問題
IPTV服務運營商在保證了自身網路的效能和服務質量之後，還不能完全確保使用者獲得理想的體驗質量。這是因為終端使用者的家庭網路也是端到端IPTV系統中的一個關鍵組成部分，其中可能存在各種各樣的問題，如機頂盒同網路相容性問題、終端故障或配置錯誤、家庭網路佈線問題、其它IP業務（如資料和VoIP）對IPTV的影響等。在運營商排除了IPTV網路設施種存在問題之後，若仍然無法解決使用者的投訴時，則需要攜帶IPTV手持式儀表到使用者家裡去進行故障診斷和排查。IPTV手持式儀表應具備以下功能特點：
*支援對ADSL線路各項指標的分析，如噪聲、頻率、電平和損耗等；
*支援對以太網布線系統的認證測試，驗證家庭網路佈線能符合IPTV業務的基本要求；
*可模擬標準的IPTV終端裝置，從而替代使用者的機頂盒，進行故障隔離；
*支援IPTV 的使用者體驗質量（QoE）測試，包括：MDI, MOS 和頻道切換測試等；
*支援基於 IP/RTP的視訊 QoS測試，包括：丟包率、抖動等。
3 IPTV QoE測試技術
3.1 視訊QoE同QoS的對應關係
使用者感知到的視訊服務質量（即使用者體驗）容易受到多種因素的影響，如IPTV的收費價格、使用者的期望值、使用者個性化行為、網路效能和業務質量等。從技術層面分析，影響IPTV視訊服務質量的因素主要包括四個組成部分：視訊內容質量、IP網傳輸質量、視訊傳送流（MPEG TS）質量和使用者互動質量。如下圖所示，它放映了使用者體驗（QoE）同視訊QoS指標的對應關係。
圖2：IPTV視訊QoS和QoE的對應關係
視訊影象質量（由上圖中的前三項組成）和使用者互動質量（如頻道切換效能和VoD命令響應時延）是構成總體IPTV使用者體驗質量的兩個基本領域。因此，如何準確、客觀地測量這兩項使用者體驗指標，並將QoE指標同網路QoS指標有效地對應起來，是十分值得我們去深入探索和研究的。有了客觀的QoE衡量指標和測試方法，就可以準確瞭解終端使用者的體驗，通過將QoE指標同網路QoS指標有效關聯，就可以知道從何處入手來查詢故障和優化網路效能，從而進一步改善使用者體驗質量。
3.2 視訊影象質量測試
目前，業界還沒有用於客觀視訊質量評價的統一國際標準，這就給IPTV測試裝置的實現提出了挑戰。根據圖2中的視訊QoS模型，我們瞭解到可以從三個層面來進行視訊影象質量測量。其中視訊內容質量主要受端裝置（即視訊編碼伺服器和機頂盒）編解碼質量的影響，IPTV網路本身不會對這部分內容造成額外的影響。在本文中，我們主要側重在對與IPTV網路損傷相關的視訊質量引數的測量和分析。
3.2.1 媒體流傳送指標（MDI）的測試
IPTV使用者的數量增加以及其它三重播放（如VoIP和資料）業務流量同IPTV相互爭奪有限的網路資源，都會對IPTV資料包轉發的及時性和準確性產生重大影響。由此導致的網路故障（包括資料包丟失和序列錯誤、延遲和抖動等），都會對視訊質量造成各種有害的影響，如馬賽克、影象模糊、邊緣失真、顫抖和視覺噪聲等。為了反映IP傳輸網損傷對IPTV媒體質量的影響，IETF RFC4445標準定義了媒體流傳輸指標（MDI），此標準也被IP 視訊質量聯盟（IPVQA）所採納，成為業界在IP層上測量視訊媒體質量的主流技術。
在MDI標準中主要定義了兩個引數——即延遲係數（DF）和媒體丟失率（MLR）。因此，通常MDI由兩個數字顯示，並用冒號隔開。例如：4.22:0.01（DF:MLR）代表時延係數為4.22毫秒，媒體丟幀率為0.01幀/秒。
延遲係數（DF）
為了解MDI延遲係數，有必要重溫一下抖動與緩衝之間的關係。當IP資料包在網路中傳輸時，會被各種網路裝置進行排序、路由和轉發，由於各種原因（例如大量P2P流量、檔案下載和VoIP通話）都可引起網路瞬時擁塞，從而導致資料通過網路的時延變化，這就是所謂的時延抖動。由於到達的IPTV資料流的瞬時速率與機頂盒的處理速率不一致，那麼資料包必須先在機頂盒中進行適當的緩衝後，然後在再以恆定的速率送至視訊解碼引擎。抖動越嚴重，需要消除抖動的緩衝器就越大。但是，採用較大緩衝器的代價是引入較大的延遲。另外，由於緩衝器的大小有限，過大的抖動會導致緩衝器上溢或下溢，從而導致媒體資料包的丟失，使用者看到的視訊就會時斷時續，並且影象出現失真。
MDI的DF是一個時間值，它表示緩衝器必須包含多少毫秒的資料才能消除抖動。延遲係數可反映視訊是否會出現影象失真，從而在一定層面獲得使用者體驗質量。延遲係數還可確定每個網元在視訊流傳輸路徑中的影響。通過比較流入裝置的DF與流出裝置的DF，可確定該裝置是否注入過多的抖動以至於影響視訊傳輸。根據機頂盒緩衝區的大小，可接受的延遲係數（DF）一般在9-50毫秒。
媒體丟失率（MLR）
媒體丟失率可以簡單定義為每秒鐘丟失（或非正常）的媒體資料包的數量。對非正常資料包的檢測非常重要，因為許多裝置往往不對接收到的資料包重新排序，而直接將其傳送到解碼器。任何資料包丟失（即出現非零MLR時）都會對視訊質量帶來不利影響，並造成視覺失真或異常以及不均勻的視訊回放。一般情況下，可接受的媒體丟失率（MLR）如下表所示：
MDI在IPTV網路監測中的應用
MDI可用於定位和表徵對媒體質量和使用者的體驗質量造成不利影響的網路故障。如果在傳輸網路的中間點跟蹤MDI，則DF和MLR要素在連續網路元素之間的差值可以幫助迅速隔離潛在的問題或已經存在的損壞。如果在IPTV資料流路徑中的前一跳（Hop）的MLR為零，而經過某路由器後引入了一個較大的MLR，這就明顯表明該路由器中存在效能問題，例如緩衝器上溢或資料包遭到破壞。同樣，如果延遲係數DF在兩個連續跳躍（Hop）中的變化非常明顯，表示由於資料包擁塞而造成較長的佇列延遲，這種情況還可預警即將發生的資料包丟失。
3.2.2 對視訊傳送流（MPEG TS）質量的監測
MPEG TS傳送碼流用於在各種不同的傳輸介質（如DVB、ATM、IP網路）上承載和傳送視訊基本流（ES），其中包含了各種用於視訊流解碼所必須的資訊內容，例如：節目相關表格（PAT）、節目對映表格（PMT）、節目標識（PID）、節目參考時鐘（PCR）等。由於MPEG TS流的損傷會直接影響機頂盒的正常解碼和視訊質量，因此TS流的健康狀況監測對保障IPTV使用者體驗質量也是十分重要的。早在MEPG2 DVB系統中，ETSI TR101 290標準已對MPEG TS流的健康指標進行了詳細的定義，它包括三個優先等級的事件：等級1中定義了會對視訊業務造成嚴重影響（如業務完全中斷）的事件，例如TS流同步丟失、同步位元組錯誤、PAT/PMT表格錯誤等；等級2中定義了會對一部分視訊業務造成影響的事件，例如PCR時鐘偏離、CAT表格錯誤等；等級3中所定義的事件不如前兩個等級那麼嚴重，它可能會對一些特定的業務或應用造成影響。因此，按ETSI TR101 290標準的等級1和2指標，對IPTV上的MPEG TS流進行的監測是必不可少的。
3.2.3 對視訊MOS的測量
對視訊MOS的客觀測量和評價是一個非常複雜的研究課題。雖然有許多研究機構和組織向ITU提交了關於客觀視訊MOS的測量建議，但ITU目前還沒有定義出統一的關於客觀視訊MOS測量的國際標準。根據測量方法的不同，客觀視訊MOS測量可分為主動式（全參考模型）和被動式（無參考模型）兩大類。
主動式視訊MOS測量採用測試儀表向被測裝置或網路傳送一個標準的參考視訊流檔案，然後接收經過被測裝置或網路後的視訊流檔案，通過一定的演算法比較這兩個視訊流檔案的差異，可計算出視訊MOS分值（1－5分）。這種全參考模型的測量方法一般比較複雜，計算量較大，測試結果也相對比較準確，它適合於在實驗室環境對視訊編解碼裝置做功能性驗證測試。
被動式視訊MOS測量則採用測試儀表對網路中的實際視訊流進行監測和捕獲，然後對其資料流特徵進行分析，並給出MOS分值。用這中無參考模型的測量方法進行準確、客觀的MOS計算的難度更大，目前這方面的國際標準的制定工作還比較滯後。而另一方面，被動式視訊MOS測量對監測IPTV網路和使用者體驗質量的意義更為重大，為此安捷倫實驗室專門研究了一套基於神經網路模型的被動式視訊MOS測量方法。該測量技術能夠根據發生在IP、MPEG TS和影象層的各種損傷情況，預測出它們對視訊MOS分的影響程度。此外，它還將該演算法所計算的MOS分值同全參考模型計算的MOS分值進行校準，從而進一步提高了演算法的準確性。由於該演算法還充分考慮了發生在不同MPEG幀（I、P、B幀）的IP丟包對視訊質量所產生的影響，因此它在MDI測量的基礎上，可更準確地放映IPTV網路損傷對使用者視訊質量感受的影響。由於它採用了簡單、輕量級的實現演算法，因此可以允許測試儀表同時對上百路的IPTV視訊流同時進行MOS計算。目前，安捷倫科技公司已對該視訊MOS測試技術申請了專利，並應用到了安捷倫的J6900A三重播放分析儀產品中。
3.3 IPTV頻道切換效能測試
使用者能否快速、準確的切換頻道也是影響IPTV使用者體驗的重要指標。有線電視技術本身決定了其頻道切換是非常快速的。對已經習慣了有線電視節目快速瀏覽的使用者來說，他們勢必期望IPTV的頻道切換速度應該是同有線電視類似的。一般而言，人們可接受的頻道切換延遲時間應維持在1秒之內。若頻道切換時延在100－200毫秒，則給使用者的感受是“瞬間”（即非常快）的。
頻道切換的延遲主要來自於網路裝置（如B-RAS、DSLAM和匯聚交換機）和機頂盒。由於機頂盒內部的切換命令處理、緩衝延遲、MPEG解碼器時延和視訊緩衝時延等因素，它一般會引入幾百毫秒的時延。好在端到端IPTV路徑中只有一個機頂盒，並且機頂盒的大部分功能是通過硬體來處理的，因此機頂盒所引入的頻道切換時延是相對穩定和可重複的。由於IPTV採用組播協議作為頻道切換的技術，IGMP協議的離開和加入時延才是頻道切換延遲的主要來源。為了確保頻道切換總延遲在1秒鐘之內，每個網路元器件的組播離開/加入延遲必須保持在10到200毫秒之間。
如下圖所示，一般的IPTV測試儀在計算從頻道1切換到頻道2的時延時，只是考慮機頂盒發出IGMP離開（頻道1）命令到收到頻道2的第一個MPEG影象幀之間的時延（即T1）。然而，這個測量結果不一定能準確反映使用者真實感受到的頻道切換延遲。因為機頂盒只有在收到MPEG TS流中的第一個PAT（節目關聯表格）後才能開始視訊解碼，所以T2（即IGMP離開命令到第一個PAT幀之間的間隔）才更能更準確地反映使用者的真實IPTV頻道切換體驗。
圖3：IPTV頻道切換時延的測量
此外，在監測IPTV頻道切換時延時，除了測量平均時延之外，還應測量最大、最小時延和時延的分佈統計。為了確保使用者有好的頻道切換體驗，IPTV頻道切換時延分佈應儘可能集中（即要求時延值保持穩定）。如果頻道切換速度時快時慢，使用者將很難把握應按怎樣的頻率來按遙控器的按鈕，才能準確切換頻道。
根據對IPTV裝置和網路生命週期各階段的測試需求分析，我們可將IPTV測試工具分為以下三大類：
*IPTV網路裝置效能測試儀（如安捷倫的N2X儀表）——可模擬產生複雜的三重播放業務（資料、VoIP和視訊）流量，主要用於對IPTV網路裝置進行效能極限測試，驗證IPTV裝置在不同流量負荷情況下的各項QoE指標（如MDI和頻道切換時延）；
*IPTV網路監測儀表和系統（如安捷倫的J6900A三重播放分析儀）——在IPTV網路的關鍵位置（如視訊前端輸出口、核心網、匯聚網和寬頻接入節點）進行實時QoE和QoS指標監測，優化IPTV網路效能和進行分散式網路故障診斷；
*手持式IPTV測試儀（如安捷倫的Framescope Pro測試儀）——主要用於端到端IP網路QoS效能測試，以及對IPTV家庭網路中存在的QoE問題進行故障查詢。以下表格是各類產品在IPTV裝置和網路生命週期各階段中的主要應用說明。
5 結束語
目前IPTV網路標準、技術和產品都已日趨成熟，政府部門對於IPTV業務的管制政策也在逐漸放開，國內外主要的有線網路電信運營商都正在積極進行IPTV商用（或試驗）網路的建設和運營，為IPTV網路的大規模開通和部署積累經驗。相信在不久的將來，IPTV必然會成為電信網路建設的主流，它將推動各種三重播放新業務的發展，從而豐富人們的娛樂生活，進一步推進資訊化社會的發展。然而，IPTV在裝置研發、系統整合、開通和維護等方面都面臨著許多新的困難和挑戰。通過對IPTV裝置和網路進行有效的使用者體驗（QoE）效能驗證、監測和故障診斷，可以幫助網路運營商和裝置廠家更快速、高效地實現對IPTV網路的建設、管理和維護工作，從而推進IPTV產業的健康發展和走向成功。