補充筆記：

關於VCL：VCL層是指視訊編碼層，VCL NAL 單元是指那些nal_unit_type 值等於 1 到 5(包括 1 和 5)的 NAL 單元，這些單元都包含了視訊資料。所有其他的 NAL 單元都稱作非 VCL NAL 單元，PPS和SPS都是非VCLNAL單元。
關於位元組流NAL單元的格式：（起始碼中0的長度）
除了流開頭的位元組流NAL單元，大多位元組流NAL單元的開頭沒有leading_zero_8bits （一個位元組的0）;

nal_unit_type等於7（SPS）或8（PPS）時，或位元組流NAL單元語法結構在解碼順序時包含一個訪問單元的第一個NAL單元，碼流中會出現 zero_byte （一個位元組的0）；

所有位元組流NAL的單元的開頭，都會存在 start_code_prefix_one_3bytes （三個000001位元組）。

所以，如果不考慮流的開頭，沒有特殊性的位元組流NAL單元，都是隻有3位元組的起始碼（即起始碼中0的個數為2）。

一個訪問單元的第一個NAL單元是指：

在基本編碼影象的最後一個 VCL NAL 單元之後的第一個任何下列 NAL 單元代表了一個新的訪問單元的開始：
— 訪問單元分隔 NAL 單元(存在時)
— 序列引數集 NAL 單元(存在時)
— 影象引數集 NAL 單元(存在時)
— SEI NAL 單元(存在時)
— nal_unit_type 值在 14-18 之間(包括)的 NAL 單元
— 基本編碼影象的第一個 VCL NAL 單元(總是存在)

名詞解釋

場和幀 ：    視訊的一場或一幀可用來產生一個編碼影象。在電視中，為減少大面積閃爍現象，把一幀分成兩個隔行的場。

片：             每個圖象中，若干巨集塊被排列成片的形式。片分為I片、B片、P片和其他一些片。

                     I片只包含I巨集塊，P片可包含P和I巨集塊，而B片可包含B和I巨集塊。

                     I巨集塊利用從當前片中已解碼的畫素作為參考進行幀內預測。

                     P巨集塊利用前面已編碼圖象作為參考圖象進行幀內預測。

                     B巨集塊則利用雙向的參考圖象（前一幀和後一幀）進行幀內預測。

                     片的目的是為了限制誤碼的擴散和傳輸，使編碼片相互間是獨立的。

                     某片的預測不能以其它片中的巨集塊為參考影象，這樣某一片中的預測誤差才不會傳播到其它片中去。

巨集塊 ：        一個編碼影象通常劃分成若干巨集塊組成，一個巨集塊由一個16×16亮度畫素和附加的一個8×8 Cb和一個8×8 Cr彩色畫素塊組成。

資料之間的關係：

H264結構中，一個視訊影象編碼後的資料叫做一幀，一幀由一個片（slice）或多個片組成，一個片由一個或多個巨集塊（MB）組成，一個巨集塊由16x16的yuv資料組成。巨集塊作為H264編碼的基本單位。

H264/AVC 的分層結構

NAL層定義片級以上的語法級別（如序列引數集和影象引數集，針對網路傳輸），

同時支援以下功能：獨立片解碼，起始碼唯一保證，SEI以及流格式編碼資料傳送，NAL層將SODB打包成RBSP然後加上NAL頭，組成一個NALU（NAL單元）；

NALU頭用來標識後面的RBSP是什麼型別的資料，他是否會被其他幀參考以及網路傳輸是否有錯誤。

NALU頭結構

長度：1byte
forbidden_bit(1bit) + nal_reference_bit(2bit) + nal_unit_type(5bit)
 

1.forbidden_bit：                             禁止位，初始為0，當網路發現NAL單元有位元錯誤時可設定該位元為1，以便接收方糾錯或丟掉該單元。

2.nal_reference_bit：                   nal重要性指示，標誌該NAL單元的重要性，值越大，越重要，解碼器在解碼處理不過來的時候，可以丟掉重要性為0的NALU。

不同型別的NALU的重要性指示如下表所示。

       所謂參考幀，就是在其他幀解碼時需要參照的幀。比如一個I幀可能被一個或多個B幀參考，一個B幀可能被某個P幀參考。

       序列引數集和影象引數集也很重要，沒有序列引數集，這個序列的幀就沒法解；

       沒有影象引數集，那用到這個影象引數集的幀都沒法解。

3.nal_unit_type：NALU型別取值如下表所示。

RTP 打包時的擴充套件型別

RBSP

RBSP資料是下表中的一種

       從前面的分析我們知道，VCL層出來的是編碼完的視訊幀資料，

       這些幀可能是I、B、P幀，而且這些幀可能屬於不同的序列，再者同一個序列還有相對應的一套序列引數集和圖片引數集等等，

       所以要完成視訊的解碼，不僅需要傳輸VCL層編碼出來的視訊幀資料，還需要傳輸序列引數集、影象引數集等資料。

       PPS對應的是一個序列中某一幅影象或者某幾幅影象，

       其引數如識別符號 pic_parameter_set_id、可選的 seq_parameter_set_id、熵編碼模式選擇標識、片組數目、初始量化引數和去方塊濾波係數調整標識等等。

       分割Ａ包含片頭和片中每個巨集塊頭資料。

       分割Ｂ包含幀內和 SI 片巨集塊的編碼殘差資料。

       分割 C包含幀間巨集塊的編碼殘差資料。

       每個分割可放在獨立的 NAL 單元並獨立傳輸。

每個NAL前有一個起始碼 0x00 00 01（或者0x00 00 00 01），解碼器檢測每個起始碼，作為一個NAL的起始標識，當檢測到下一個起始碼時，當前NAL結束。

同時H.264規定，當檢測到0x000000時，也可以表徵當前NAL的結束。那麼NAL中資料出現0x000001或0x000000時怎麼辦？H.264引入了防止競爭機制，如果編碼器檢測到NAL資料存在0x000001或0x000000時，編碼器會在最後個位元組前插入一個新的位元組0x03，這樣：

1.序列引數集NAL單元       

必須在傳送所有以此引數集為參考的其他NAL單元之前傳送，不過允許這些NAL單元中間出現重複的序列引數集NAL單元。

2.影象引數集NAL單元      

必須在所有以此引數集為參考的其他NAL單元之前傳送，不過允許這些NAL單元中間出現重複的影象引數集NAL單元，這一點與上述的序列引數集NAL單元是相同的。

3.不同基本編碼影象中的片段（slice）單元和資料劃分片段（data partition）單元在順序上不可以相互交叉，即不允許屬於某一基本編碼影象的一系列片段（slice）單元和資料劃分片段（data partition）單元中忽然出現另一個基本編碼影象的片段（slice）單元片段和資料劃分片段（data partition）單元。

4.參考影象的影響：如果一幅影象以另一幅影象為參考，則屬於前者的所有片段（slice）單元和資料劃分片段（data partition）單元必須在屬於後者的片段和資料劃分片段之後，無論是基本編碼影象還是冗餘編碼影象都必須遵守這個規則。

5.基本編碼影象的所有片段（slice）單元和資料劃分片段（data partition）單元必須在屬於相應冗餘編碼影象的片段（slice）單元和資料劃分片段（data partition）單元之前。

6.如果資料流中出現了連續的無參考基本編碼影象，則影象序號小的在前面。

7.如果arbitrary_slice_order_allowed_flag置為1，一個基本編碼影象中的片段（slice）單元和資料劃分片段（data partition）單元的順序是任意的，如果arbitrary_slice_order_allowed_flag置為零，則要按照片段中第一個巨集塊的位置來確定片段的順序，若使用資料劃分，則A類資料劃分片段在B類資料劃分片段之前，B類資料劃分片段在C類資料劃分片段之前，而且對應不同片段的資料劃分片段不能相互交叉，也不能與沒有資料劃分的片段相互交叉。

8.如果存在SEI（補充增強資訊）單元的話，它必須在它所對應的基本編碼影象的片段（slice）單元和資料劃分片段（data partition）單元之前，並同時必須緊接在上一個基本編碼影象的所有片段（slice）單元和資料劃分片段（data partition）單元后邊。假如SEI屬於多個基本編碼影象，其順序僅以第一個基本編碼影象為參照。

9.如果存在影象分割符的話，它必須在所有SEI 單元、基本編碼影象的所有片段slice）單元和資料劃分片段（data partition）單元之前，並且緊接著上一個基本編碼影象那些NAL單元。

10.如果存在序列結束符，且序列結束符後還有影象，則該影象必須是IDR（即時解碼器重新整理）影象。序列結束符的位置應當在屬於這個IDR影象的分割符、SEI 單元等資料之前，且緊接著前面那些影象的NAL單元。如果序列結束符後沒有影象了，那麼它的就在位元流中所有影象資料之後。

11.流結束符在位元流中的最後。