iOS學習-即時通訊音視訊(一)之視訊編解碼之理論
參考大神:http://www.52im.net/thread-228-1-1.html
實時音視訊技術 = 音視訊處理技術 + 網路傳輸技術 的橫向技術應用集合體。
視訊為何需要壓縮?
1.未經壓縮的數字視訊的資料量巨大 2. 儲存困難,一張DVD只能儲存幾秒鐘的未壓縮數字視訊 3. 傳輸困難 1M的頻寬傳輸1秒的數字電視視訊需要大約4分鐘
視訊主要壓縮了什麼?
原始視訊壓縮的目的是去除冗餘資訊, 可以去除的包括:
1.空間冗餘: 影象相鄰畫素之間有較強的相關性
2.時間冗餘: 視訊序列的相鄰影象之間的內容相似
3.編碼冗餘: 不同畫素值出現的概率不同
4.視覺冗餘: 人的視覺系統對某些細節不敏感
5.知識冗餘: 規律性的結構可由先驗知識和背景知識得到
資料壓縮分為:
無失真壓縮: 壓縮前/解壓縮後圖像完全一致X=X' , 壓縮比低(2:1~3:1), 典型格式例如:Winzip,JPEG-LS
有失真壓縮: 壓縮前解壓縮後圖像不一致X≠X', 壓縮比高(10:1~20:1), 利用人的視覺系統的特性. 典型格式例如: MPEG-2, H.264/AVC, AVS
編碼器(Encoder): 壓縮訊號的裝置或程式
解碼器(Decoder):解壓縮訊號的裝置或程式
編解碼器(Codec):編解碼器對
編解碼的技術流程和原理
編解碼器的實現平臺:
超大規模積體電路VLSI
ASIC, FPGA
數字訊號處理器DSP
軟體
編解碼器產品:
機頂盒 數字電視 攝像機 監控器
視訊編碼標準: 相容不同廠家生產的編碼器壓縮的碼流能夠被不同廠家的加碼器解碼
標準編解碼器可以進行批量生產,節約成本
主流視訊編碼標準:
(MPEG-2) (MPEG-4 Simple Profile ) (H.264/AVC) (AVS) (VC-1)
標準化組織 ITU VECG ISO MPEG
視訊傳輸: 通過傳輸系統將壓縮的視訊碼流從ongoing編碼端傳輸到解碼端
傳輸系統: 網際網路 地面無線廣播 衛星
視訊傳輸面臨的問題:
傳輸系統不可靠: 頻寬限制 訊號衰減 噪聲干擾 傳輸延遲
視訊傳輸出現的問題: 不能解碼出正確的視訊 視訊播放延遲
視訊傳輸差錯控制: 差錯控制(Error Control) 解決視訊傳輸過程中由於資料丟失或延遲導致的問題
差錯控制技術有: 通道編碼差錯控制技術 編碼器差錯恢復 解碼器差錯隱藏
視訊傳輸中Qoss質量保證引數: 資料包的端到端的延遲 頻寬:位元/秒 資料包的流失率 資料包的延遲時間的波動
影象是人對視覺感知的物質再現.三維自然場景的物件包括:深度,紋理和亮度資訊. 二維影象: 紋理和亮度資訊.
視訊是連續的影象. 視訊由多幅影象構成,包含物件的運動資訊, 又稱為運動影象.
數字視訊可以理解為自然場景空間和時間的數字取樣表示.
空間取樣的主要技術指標為: 解析度(Resolution) 畫素(Pixel)
時間取樣的主要技術指標為: 幀率(幀/秒)
數字視訊系統的構成和執行原理
採集: 照相機 攝像機 處理: 編解碼器, 傳輸裝置 顯示: 顯示器
人類視覺系統HVS的構成:眼睛 神經 大腦
HVS特點: 對高頻資訊不敏感
對高對比度更敏感
對高度資訊比色度資訊更敏感
對運動的資訊更敏感
針對HVS的特點,數字視訊系統的設計應該考慮的因素:
丟棄高頻資訊,只編碼低頻資訊
提高邊緣資訊的主觀質量
降低色度的解析度
對感興趣區域(Region of interseting, ROI) 進行特殊處理
RGB色彩空間: 三原色分別是紅(R), 綠(G),藍(B) ,任何顏色都可以通過按一定比例混合三原色產生
有RGB三原色組成 廣泛用於BMP, TIFF, PPM等 每個色度成分通常用8bit表示[0 255]
YUV色彩空間: Y: 高度分量 UV: 兩個色度分量 YUV能更好的反映HVS特點
RGB可以轉化到YUV空間,主流的編解碼標準的壓縮物件都是YUV影象
YUV影象可以根據HVS的特點, 對色度進行分量取樣,可以降低視訊資料量
根據亮度和色度分量的取樣比率,YUV影象通常有以下幾種分量方式: 4:4:4 4:2:2 4:2:0
根據YUV影象的亮度,解析度定義了幾種影象格式: SQCIF 128*96 QCIF CIF 4CIF SD HD
如何理解幀和場影象
一幀影象包括兩場 如一幀影象分為0 ~ 9行 , 0,2,4,6,8 叫頂場 1,3,5,7,9叫底場
逐行影象是指: 一幀影象的兩場在同一時間得到, ttop = tbot
隔行影象是指: 一幀影象的兩場在不同時間得到, ttop ≠ tbot