視訊編解碼那些事

阿新 • • 發佈：2018-12-20

首先看下什麼是視訊，連續的靜態影象就是視訊連續的影象變化每秒超過24幀（frame）畫面以上時，根據視覺暫留原理，人眼無法辨別單幅的靜態畫面；看上去是平滑連續的視覺效果，這樣連續的畫面叫做視訊。為什麼要進行視訊編碼視訊訊號數字化的佔用頻寬和儲存很高，按照一個畫素(YUV/RGB表示法各佔8bit)，需要達到20MB/秒以上，採用壓縮技術通常資料頻寬降到1-10MB/秒，這樣就可以將視訊訊號網路傳輸佔用的頻寬和儲存在計算機中佔用的儲存大幅的降低。剛才提到人眼系統(HVS)，人眼系統HVS特點： • 對高頻資訊不敏感 • 對高對比度更敏感 • 對亮度資訊比色度資訊更敏感 • 對運動的資訊更敏感在這裡插入圖片描述因此數字視訊系統的設計就是考慮到HVS的特點：丟棄高頻資訊，只編碼低頻資訊提高邊緣資訊的主觀質量降低色度的解析度對感興趣區域（Region of Interesting，ROI）進行特殊處理

上面提到的具體資訊就可以作為編解碼壓縮的一句，去除冗餘資訊，幾種冗餘空間冗餘：影象相鄰畫素之間有較強的相關性時間冗餘：視訊序列的相鄰影象之間內容相似編碼冗餘：不同畫素值出現的概率不同視覺冗餘：人的視覺系統對某些細節不敏感知識冗餘：規律性的結構可由先驗知識和背景知識得到在這裡插入圖片描述

而編解碼技術的原理流程就是依據去除這些冗餘資訊，流程如下在這裡插入圖片描述

視訊編碼技術所謂視訊編碼方式就是指通過特定的壓縮技術，將某個視訊格式的檔案轉換成另一種視訊格式檔案的方式。視訊流傳輸中最為重要的編解碼標準有國際電聯的H.261、H.263、H.264，H265，運動靜止影象專家組的M-JPEG和國際標準化組織運動影象專家組的MPEG系列標準，當然還有Google公司的VP8,VP9系列，11年後公安1所推出的SVAC也是視訊編碼技術。幾大編解碼技術體系 MPEG系列（由ISO[國際標準組織機構]下屬的MPEG[運動圖象專家組]開發）視訊編碼方面主要是Mpeg1（vcd用的就是它）、Mpeg2（DVD使用）、Mpeg4（的DVDRIP使用的都是它的變種，如：divx，xvid等）、Mpeg4 AVC 音訊編碼方面主要是MPEG Audio Layer 1/2、MPEG Audio Layer 3（大名鼎鼎的mp3）、MPEG-2 AAC 、MPEG-4、AAC等等。注意：DVD音訊沒有采用Mpeg的。 H.26X系列（由ITU[國際電傳視訊聯盟]主導，側重網路傳輸，注意：只是視訊編碼）包括H.261、H.262、H.263、H.263+、H.263++、H.264（就是MPEG4 AVC-合作的結晶）編解碼與檔案格式的區別常見的檔案格式有mp4,avi，常見的視訊編解碼有Mpeg4,H.264,H.265 由於很容易弄混他們之間的關係，這把裡通過檔案和編碼資料比喻成一本書來講解一本書有目錄和索引(哪個章節在哪一頁)，每個章節裡才是相應的作者表達的內容，目錄和索引可以看成是檔案，而章節內容可以看成是編碼資料我們在播放媒體檔案時，可以來回拖動到任意位置，也是這個原理，就是因為檔案格式中有了對於時間索引資訊的表述，而直接使用編碼資料中是沒有的常用的是視訊術語解析度大家通常所說的1080P，720P就是指的解析度，它決定了點陣圖影象細節的精細程度。通常情況下，影象的解析度越高，所包含的畫素就越多，影象就越清晰。當然，它也會增加傳輸頻寬和儲存空間。位元速率即位元率也就是大家通常所說的頻寬，是指每秒傳送的位元(bit)數。單位為bps(Bit Per Second);位元率越高，傳送資料量越大。幀是組成視訊影象的基本單位。視訊檔案是由多個連續的圖片組成。幀頻（frame rate）是指每秒鐘放映或顯示的幀或影象的數量。幀頻主要用於電影、電視或視訊的同步音訊和影象中。幀頻是指每秒播放多少幀動畫,最多每秒120幀。上面提到過，由於人眼暫留原理，連續播放的單幅靜態影象，人眼就會覺的是動態的畫面。其實是一種視覺的欺騙。所以大家看到的視訊都是一幀幀靜態影象組成的。 I幀/P幀/B幀 I幀（I frame）又稱為內部畫面 (intra picture)，I 幀通常是每個 GOP（MPEG 所使用的一種視訊壓縮技術）的第一個幀，經過適度地壓縮，做為隨機訪問的參考點，可以當成影象。它是幀間壓縮編碼裡的重要幀；它是一個全幀壓縮的編碼幀；解碼時僅用I幀的資料就可重構完整影象；I幀不需要參考其他畫面而生成。 P幀 P幀法是根據本幀與相鄰的前一幀（I幀或P幀）的不同點來壓縮本幀資料。採取P幀和I幀聯合壓縮的方法可達到更高的壓縮且無明顯的壓縮痕跡。 P幀採用運動補償的方法傳送它與前面的I或P幀的差值及運動向量（預測誤差） P幀屬於前向預測的幀間編碼。它只參考前面最靠近它的I幀或P幀。 P幀可以是其後面P幀的參考幀，也可以是其前後的B幀的參考幀。由於P幀是參考幀，它可能造成解碼錯誤的擴散。由於是差值傳送，P幀的壓縮比較高。 B幀法（B frame）是雙向預測的幀間壓縮演算法。當把一幀壓縮成B幀時，它根據相鄰的前一幀、本幀以及後一幀資料的不同點來壓縮本幀，也即僅記錄本幀與前後幀的差值。只有採用B幀壓縮才能達到200：1的高壓縮。雖然B幀壓縮率最高，但是由於需要參考前後幀才能進行編碼和解碼，因此在編碼側和解碼側需要快取一定時間的幀，才能進行解碼，因此會導致播放延遲較大。在實時通訊和監控領域，一般不使用B幀。很明顯的，I幀壓縮效率最低，P幀較高，B幀最高。在這裡插入圖片描述

I幀間隔顧名思義，兩個I幀之間的時間間隔，一般以間隔多少幀來標識。比如幀頻25f/s，I幀間隔50幀，兩個I幀就是2S的間隔。I幀間隔設定大，一旦出現網路傳輸丟包，會導致畫面無法重新整理，長時間影響畫面質量；而且在錄影回放，拖動播放中，會出現不能隨意拖動。但是設定過短則會導致壓縮率變小，從而導致傳輸和儲存的位元組都過大。一般IPC中預設設定為50幀。 H.264關鍵幀資訊解釋 SPS和PPS關鍵幀 Sequence Parameter Sets (SPS) 和Picture Parameter Set (PPS)，裡面包括編碼所用的profile，level，影象的寬和高，deblock濾波器等重要引數，就是說除了信令中協商攜帶的資訊外，也可以依據碼流的資訊來進行適合影象Profile Level，解析度，位元速率速率等資訊。 SEI幀補充增強資訊（Supplemental Enhancement Information）是碼流範疇裡面的概念，提供了向視訊碼流中加入資訊的辦法，是H.264/H.265 視訊壓縮標準的特性之一。SEI 有基本的特徵： 1. 並不是解碼過程的必須項； 2. 有可能對解碼過程（容錯、糾錯）有幫助； 3. 整合在視訊碼流中；那協議中並沒有規定SEI 中可以新增哪些資訊？使用者場景可以任意擴充套件不過基於上述特徵，在視訊傳輸過程、解封裝、解碼環節，都可能因為某種原因丟棄SEI ，因此SEI幀資訊經過視訊處理後就會被丟棄的。

歡迎使用Markdown編輯器

你好！這是你第一次使用 Markdown編輯器 所展示的歡迎頁。如果你想學習如何使用Markdown編輯器, 可以仔細閱讀這篇文章，瞭解一下Markdown的基本語法知識。

新的改變

我們對Markdown編輯器進行了一些功能拓展與語法支援，除了標準的Markdown編輯器功能，我們增加了如下幾點新功能，幫助你用它寫部落格：

全新的介面設計 ，將會帶來全新的寫作體驗；
在創作中心設定你喜愛的程式碼高亮樣式，Markdown 將程式碼片顯示選擇的高亮樣式 進行展示；
增加了 圖片拖拽 功能，你可以將本地的圖片直接拖拽到編輯區域直接展示；
全新的 KaTeX數學公式 語法；
增加了支援甘特圖的mermaid語法¹ 功能；
增加了 多螢幕編輯 Markdown文章功能；
增加了 焦點寫作模式、預覽模式、簡潔寫作模式、左右區域同步滾輪設定 等功能，功能按鈕位於編輯區域與預覽區域中間；
增加了 檢查列表 功能。

功能快捷鍵

撤銷：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜體：Ctrl/Command + I 標題：Ctrl/Command + Shift + H 無序列表：Ctrl/Command + Shift + U 有序列表：Ctrl/Command + Shift + O 檢查列表：Ctrl/Command + Shift + C 插入程式碼：Ctrl/Command + Shift + K 插入連結：Ctrl/Command + Shift + L 插入圖片：Ctrl/Command + Shift + G

合理的建立標題，有助於目錄的生成

直接輸入1次#，並按下space後，將生成1級標題。輸入2次#，並按下space後，將生成2級標題。以此類推，我們支援6級標題。有助於使用TOC語法後生成一個完美的目錄。

如何改變文字的樣式

強調文字 強調文字

加粗文字 加粗文字

標記文字

~~刪除文字~~

引用文字

H₂O is是液體。

2¹⁰ 運算結果是 1024.

插入連結與圖片

連結: link.

圖片:

帶尺寸的圖片:

當然，我們為了讓使用者更加便捷，我們增加了圖片拖拽功能。

如何插入一段漂亮的程式碼片

去部落格設定頁面，選擇一款你喜歡的程式碼片高亮樣式，下面展示同樣高亮的 程式碼片.

// An highlighted block
var foo = 'bar';

生成一個適合你的列表

專案
- 專案
  - 專案

專案1
專案2
專案3

計劃任務
完成任務

建立一個表格

一個簡單的表格是這麼建立的：

專案	Value
電腦	$1600
手機	$12
導管	$1

設定內容居中、居左、居右

使用:---------:居中使用:----------居左使用----------:居右

第一列	第二列	第三列
第一列文字居中	第二列文字居右	第三列文字居左

SmartyPants

SmartyPants將ASCII標點字元轉換為“智慧”印刷標點HTML實體。例如：

TYPE	ASCII	HTML
Single backticks	`'Isn't this fun?'`	‘Isn’t this fun?’
Quotes	`"Isn't this fun?"`	“Isn’t this fun?”
Dashes	`-- is en-dash, --- is em-dash`	– is en-dash, — is em-dash

建立一個自定義列表

Markdown: Text-to-HTML conversion tool
Authors: John; Luke

如何建立一個註腳

一個具有註腳的文字。²

註釋也是必不可少的

Markdown將文字轉換為 HTML。

KaTeX數學公式

您可以使用渲染LaTeX數學表示式 KaTeX:

Gamma公式展示 $\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N$ 是通過尤拉積分

$\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,.$

你可以找到更多關於的資訊 LaTeX 數學表示式here.

新的甘特圖功能，豐富你的文章

關於 甘特圖 語法，參考這兒,

UML 圖表

可以使用UML圖表進行渲染。 Mermaid. 例如下面產生的一個序列圖：:

這將產生一個流程圖。:

關於 Mermaid 語法，參考這兒,

FLowchart流程圖

我們依舊會支援flowchart的流程圖：

關於 Flowchart流程圖 語法，參考這兒.

匯出與匯入

匯出

如果你想嘗試使用此編輯器, 你可以在此篇文章任意編輯。當你完成了一篇文章的寫作, 在上方工具欄找到 文章匯出 ，生成一個.md檔案或者.html檔案進行本地儲存。

匯入

如果你想載入一篇你寫過的.md檔案或者.html檔案，在上方工具欄可以選擇匯入功能進行對應副檔名的檔案匯入，繼續你的創作。