即時通訊音視訊開發（一）：視訊編解碼之理論概述
阿新 • • 發佈：2018-11-14
前言
即時通訊應用中的實時音視訊技術，幾乎是IM開發中的最後一道高牆。原因在於：實時音視訊技術 = 音視訊處理技術 + 網路傳輸技術 的橫向技術應用集合體，而公共網際網路不是為了實時通訊設計的。
系列文章
視訊為何需要壓縮？
- 未經壓縮的數字視訊的資料量巨大
- 儲存困難：一張DVD只能儲存幾秒鐘的未壓縮數字視訊。
- 傳輸困難 1兆的頻寬傳輸一秒的數字電視視訊需要大約4分鐘。
主要壓縮了什麼東西？
原始視訊壓縮的目的是去除冗餘資訊，可以去除的冗餘包括：
- 空間冗餘：影象相鄰畫素之間有較強的相關性
- 時間冗餘：視訊序列的相鄰影象之間內容相似
- 編碼冗餘：不同畫素值出現的概率不同
- 視覺冗餘：人的視覺系統對某些細節不敏感
- 知識冗餘：規律性的結構可由先驗知識和背景知識得到
資料壓縮是怎麼分類的？
- 無失真壓縮（Lossless）：壓縮前、解壓縮後圖像完全一致X=X'，壓縮比低(2:1~3:1)。典型格式例如：Winzip，JPEG-LS。
- 有失真壓縮（Lossy）：壓縮前解壓縮後圖像不一致X≠X'，壓縮比高(10:1~20:1)，利用人的視覺系統的特性。典型格式例如：MPEG-2，H.264/AVC，AVS。
什麼是“編解碼器”？
- 編碼器（Encoder）：壓縮訊號的裝置或程式；
- 解碼器（Decoder）：解壓縮訊號的裝置或程式；
- 編解碼器(Codec)：編解碼器對。
編解碼的技術流程和原理
1編碼器中的關鍵技術
編解碼中的關鍵技術
編解碼器的實現
編解碼器的實現平臺：
- 超大規模積體電路VLSI
- ASIC， FPGA
- 數字訊號處理器DSP
- 軟體
編解碼器產品：
- 機頂盒
- 數字電視
- 攝像機
- 監控器
視訊編碼的標準
編碼標準作用：
- 相容：不同廠家生產的編碼器壓縮的碼流能夠被不同廠家的解碼器解碼
- 高效：標準編解碼器可以進行批量生產，節約成本。
主流的視訊編碼標準：
- MPEG-2
- MPEG-4 Simple Profile
- H.264/AVC
- AVS
- VC-1
標準化組織：
- ITU：International Telecommunications Union
- VECG：Video Coding Experts Group
- ISO：International Standards Organization
- MPEG：Motion Picture Experts Group
視訊傳輸
- 視訊傳輸：通過傳輸系統將壓縮的視訊碼流從編碼端傳輸到解碼端
- 傳輸系統：網際網路，地面無線廣播，衛星
視訊傳輸面臨的問題
傳輸系統不可靠：
- 頻寬限制
- 訊號衰減
- 噪聲干擾
- 傳輸延遲
視訊傳輸出現的問題：
- 不能解碼出正確的視訊
- 視訊播放延遲
視訊傳輸差錯控制
差錯控制（Error Control）解決視訊傳輸過程中由於資料丟失或延遲導致的問題。
差錯控制技術有：
- 通道編碼差錯控制技術
- 編碼器差錯恢復
- 解碼器差錯隱藏
視訊傳輸中QoS質量保證引數
- 資料包的端到端的延遲
- 頻寬：位元/秒
- 資料包的流失率
- 資料包的延遲時間的波動
網易雲信，你身邊的即時通訊和音視訊技術專家，瞭解我們，請戳網易雲信官網
想要閱讀更多行業洞察和技術乾貨，請關注網易雲信部落格
本文轉載自52im,作者：JackJiang