前言

即時通訊應用中的實時音視訊技術，幾乎是IM開發中的最後一道高牆。原因在於：實時音視訊技術 = 音視訊處理技術 + 網路傳輸技術 的橫向技術應用集合體，而公共網際網路不是為了實時通訊設計的。

系列文章

本文是系列文章中的第2篇，本系列文章的大綱如下：
 

• 《即時通訊音視訊開發（一）：視訊編解碼之理論概述》
• 《即時通訊音視訊開發（三）：視訊編解碼之編碼基礎》

1. 什麼是影象？什麼是視訊？

影象：
是人對視覺感知的物質再現。三維自然場景的物件包括：深度，紋理和亮度資訊。二維影象：紋理和亮度資訊。

視訊：
連續的影象。視訊由多幅影象構成，包含物件的運動資訊，又稱為運動影象。

2. 何為數字視訊？

數字視訊可以理解為自然場景空間和時間的數字取樣表示。

空間取樣的主要技術指標為：解析度（Resolution）

時間取樣的主要技術指標為：幀率（幀/秒）

3. 數字視訊系統的構成和執行原理

• 採集：照相機，攝像機。
• 處理：編解碼器，傳輸裝置
• 顯示：顯示器。

5. 人類視覺系統HVS

HVS的構成：

• 眼睛
• 神經
• 大腦、

HVS特點：

• 對高頻資訊不敏感
• 對高對比度更敏感
• 對亮度資訊比色度資訊更敏感
• 對運動的資訊更敏感

6. 針對HVS的特點，數字視訊系統的設計應該考慮哪些因素？

• 丟棄高頻資訊，只編碼低頻資訊
• 提高邊緣資訊的主觀質量
• 降低色度的解析度
• 對感興趣區域（Region of Interesting，ROI）進行特殊處理

7. 什麼是RGB色彩空間？

三原色分別是紅（R），綠（G），藍（B）。任何顏色都可以通過按一定比例混合三原色產生。

RGB色度空間：

• 由RGB三原色組成
• 廣泛用於BMP，TIFF，PPM等
• 每個色度成分通常用8bit表示[0,255]

8. 什麼是YUV色彩空間？

YUV色彩空間是指，Y：亮度分量，UV：兩個色度分量。YUV能更好的反映HVS特點。

9. RGB如何轉化到YUV空間？

亮度分量Y與三原色有如下關係：
 

經過大量實驗後ITU-R給出了：
         
 

主流的編解碼標準的壓縮物件都是YUV影象。

10. 何為YUV影象分量取樣？

YUV影象可以根據HVS的特點，對色度進行分量取樣，可以降低視訊資料量。

根據亮度和色度分量的取樣比率，YUV影象通常有以下幾種分量方式：

11. 通用的YUV影象格式有哪些？

根據YUV影象的亮度、解析度定義瞭如下影象格式：

12. 如何理解幀和場影象？

一幀影象包括兩場——頂場，底場：

13. 逐行與隔行影象

逐行影象是指：一幀影象的兩場在同一時間得到，ttop=tbot。
隔行影象是指：一幀影象的兩場在不同時間得到， ttop≠tbot。

網易雲信，你身邊的即時通訊和音視訊技術專家，瞭解我們，請戳網易雲信官網

想要閱讀更多行業洞察和技術乾貨，請關注網易雲信部落格

本文轉載自52im,作者：JackJiang