X264編碼流程詳解
阿新 • • 發佈：2018-12-31
對H.264編碼標準一直停留在理解原理的基礎上，對於一個實際投入使用的編碼器是如何構建起來一直感覺很神祕，於是決定在理解理論的基礎上潛心於編碼器實現框架。關於開源的H264編碼器有很多，JMVC，T264、X264，這裡選擇X264，因為網上關於X264原始碼分析資源很多。X264編碼器是一個開源的經過優化的高效能H.264編碼器，目前最新的原始碼在本人的I5處理器的PC機上，編碼1920x1080解析度的視訊序列在使用ultrafast配置的情況下，可以實現160fps左右的編碼速度。
這裡對原始碼分析並沒有選擇最新的原始碼，而是選用2009年2月份的版本，原因有二：一是這個版本是從網上下載下來的，已經是一個建立好的VS2008工程，對於像我這種用慣IDE除錯的程式設計師來說，這可以大大提高原始碼閱讀速度；二是雖然X264原始碼雖然幾乎每天都有更新，但是從這個版本以後，最大的改動基本是針對多Slice編碼的支援，其他都是在輸入輸出方面的一些改動，從這個版本學習可以較快進入編碼部分的學習；三是這個版本當中已經有別人的很多的註釋，便於自己理解；
一、幀級編碼分析
定位到x264_encoder_encode這個函式，這個函式應該是H264編碼最上層的函式，實現編碼一幀視訊。在進行下一步分析之前有必要了解，控制X264編碼的全域性性結構體x264_t，這個結構體控制著視訊一幀一幀的編碼，包括中間參考幀管理、位元速率控制、全域性引數等一些重要引數和結構體。
下面是x264_t這個結構體的定義（這裡僅對幾個關鍵的結構和變數進行分析）：
struct x264_t { x264_param_t param;//編碼器編碼引數，包括量化步長、編碼級別等等一些引數 ........... int i_frame;//編碼幀號，用於計算POC（picture of count 標識視訊幀的解碼順序） ........... int i_nal_type; /* Nal 單元的型別，可以檢視編碼標準，有哪幾種類型，需要理解的型別有：不分割槽（一幀作為一個片）非IDR影象的片；片分割槽A、片分割槽B、片分割槽C、IDR影象中的片、序列引數集、影象引數集 */ int i_nal_ref_idc; /* Nal 單元的優先級別取值範圍[0,1,2,3]，值越大表示優先順序越高，此Nal單元就越重要*/ /* We use only one SPS（序列引數集） and one PPS（影象引數集） */ x264_sps_t sps_array[1];//結構體的陣列 x264_sps_t *sps; x264_pps_t pps_array[1]; x264_pps_t *pps; int i_idr_pic_id; ...... struct { //這個結構體涉及到X264編碼過程中的幀管理，理解這個結構體中的變數在編碼標準的理論意義是非常重要的 x264_frame_t *current[X264_BFRAME_MAX*4+3];/*已確定幀型別，待編碼幀，每一個GOP在編碼前，每一幀的型別在編碼前已經確定。當進行編碼時，從這裡取出一幀資料。*/ x264_frame_t *next[X264_BFRAME_MAX*4+3];//尚未確定幀型別的待編碼幀，當確定後，會將此陣列中的幀轉移到current陣列中去。 x264_frame_t *unused[X264_BFRAME_MAX*4 + X264_THREAD_MAX*2 + 16+4];/*這個陣列用於回收那些在編碼中分配的frame空間，當有新的需要時，直接拿過來用，不用重新分配新的空間，提高效率*/ /* For adaptive B decision */ x264_frame_t *last_nonb; /* frames used for reference + sentinels */ x264_frame_t *reference[16+2];//參考幀佇列，注意參考幀都是重建幀 int i_last_idr; /* 上一次重新整理關鍵幀的幀號，配合前面的i_frame，可以用來計算POC */ int i_input; /* Number of input frames already accepted *///frames結構體中i_input指示當前輸入的幀的（播放順序）序號。 int i_max_dpb; /* 分配解碼影象緩衝的最大數量（DPB） */ int i_max_ref0;//最大前向參考幀數量 int i_max_ref1;//最大後向參考幀數量 int i_delay; /* Number of frames buffered for B reordering */ //i_delay設定為由B幀個數（執行緒個數）確定的幀緩衝延遲，在多執行緒情況下為i_delay = i_bframe + i_threads - 1。 //而判斷B幀緩衝填充是否足夠則通過條件判斷：h->frames.i_input <= h->frames.i_delay + 1 - h->param.i_threads。 int b_have_lowres; /* Whether 1/2 resolution luma planes are being used */ int b_have_sub8x8_esa; } frames;//指示和控制幀編碼過程的結構 /* current frame being encoded */ x264_frame_t *fenc;//指向當前編碼幀 /* frame being reconstructed */ x264_frame_t *fdec;//指向當前重建幀，重建幀的幀號要比當前編碼幀的幀號小1 /* references lists */ int i_ref0;//前向參考幀的數量 x264_frame_t *fref0[16+3]; /* 存放前向參考幀的陣列（注意參考幀均是重建幀） */ int i_ref1;//後向參考幀的數量 x264_frame_t *fref1[16+3]; /* 存放後向參考幀的陣列*/ int b_ref_reorder[2]; ........ };
定位到x264_encoder_encode這個函式，這個函式應該是H264編碼最上層的函式，實現編碼的幀級處理（如何進行參考幀管理、幀型別確定等等）。
下面對x264_encoder_encode中幾個關鍵函式以及關鍵部分進行分析：
1、x264_reference_update這個函式主要完成參考幀的更新，H.264的幀間預測需要使用參考幀，參考幀使用的都是已編碼後的重建幀，每編碼一幀的同時會重建此幀作為參考幀，在編碼下一幀時，將此重建幀加入到參考幀佇列中。函式實現如下：
static inline void x264_reference_update( x264_t *h )
{
int i;
if( h->fdec->i_frame >= 0 )//重建幀幀數大於等於零時
h->i_frame++;//當前編碼幀的幀號要比重建幀的幀號大1
if( !h->fdec->b_kept_as_ref )/*如果重建幀不作為參考幀（不作為參考幀，當然不用加入參考幀隊列了）*/
{//when b frame is not used as reference frame
if( h->param.i_threads > 1 )
{
x264_frame_push_unused( h, h->fdec );
h->fdec = x264_frame_pop_unused( h );
}
return;//if b-frame is not used as reference, return
}
/* move lowres(低解析度) copy of the image to the ref frame */
for( i = 0; i < 4; i++)
{/*暫時還不知道幹嘛的*/
XCHG( uint8_t*, h->fdec->lowres[i], h->fenc->lowres[i] );
XCHG( uint8_t*, h->fdec->buffer_lowres[i], h->fenc->buffer_lowres[i] );
}
/* adaptive B decision needs a pointer, since it can't use the ref lists */
if( h->sh.i_type != SLICE_TYPE_B )
h->frames.last_nonb = h->fdec;
/* move frame in the buffer */
x264_frame_push( h->frames.reference, h->fdec );/*把重建幀放入參考佇列中*/
if( h->frames.reference[h->frames.i_max_dpb] )/*如果參考幀的個數大於解碼影象快取的最大數（decoded picture buffer(DPB)）*/
x264_frame_push_unused( h, x264_frame_shift( h->frames.reference ) );/*取出參考佇列中第一個參考重建幀，並放入暫時不用幀佇列中*/
h->fdec = x264_frame_pop_unused( h );/*從暫時不用幀佇列中，取出一幀作為新的重建幀buf*/
} //確定幀的型別
x264_stack_align( x264_slicetype_decide, h );/*通過x264_slicetype_decide函式來確定決定h-frames.next[]中每一幀的型別*/
/* 3: move some B-frames and 1 non-B to encode queue 這裡來完成幀排序，還是有點巧妙的*/
while( IS_X264_TYPE_B( h->frames.next[bframes]->i_type ) )
bframes++;/*注意這個迴圈查詢的作用，一方面可以確定第一個非B幀之前B幀的數量，也可以定位出第一個非B幀的位置*/
x264_frame_push( h->frames.current, x264_frame_shift( &h->frames.next[bframes] ) );/*取出第一個非B幀，並放到current指標第一個位置：通過這兩步完成幀排序的（例如BBP->PBB）*/
/* FIXME: when max B-frames > 3, BREF may no longer be centered after GOP closing */
if( h->param.b_bframe_pyramid && bframes > 1 )
{
x264_frame_t *mid = x264_frame_shift( &h->frames.next[bframes/2] );
mid->i_type = X264_TYPE_BREF;
x264_frame_push( h->frames.current, mid );
bframes--;
}
while( bframes-- )
x264_frame_push( h->frames.current, x264_frame_shift( h->frames.next ) ); /*然後依次取出B幀，並放到current佇列中*/h->fenc = x264_frame_shift( h->frames.current );//從當前編碼幀中取出第一幀，作為當前編碼幀接著進行相關引數的賦值，這裡主要對POC的計算強調一下：
h->fenc->i_poc = 2 * (h->fenc->i_frame - h->frames.i_last_idr);//考慮到場編碼，POC每幀增長為2，如果是場編碼POC增長為1static inline void x264_reference_build_list( x264_t *h, int i_poc )
{
int i;
int b_ok;
/* build ref list 0/1 */
h->i_ref0 = 0;//前向參考幀索引
h->i_ref1 = 0;//後向參考幀索引
for( i = 0; h->frames.reference[i]; i++ )
{//注意這裡都是指標操作
if( h->frames.reference[i]->i_poc < i_poc )
{//小於當前幀POC的，放到前向參考幀列表中
h->fref0[h->i_ref0++] = h->frames.reference[i];
}
else if( h->frames.reference[i]->i_poc > i_poc )
{//大於當前幀POC的，放到後向參考幀列表中
h->fref1[h->i_ref1++] = h->frames.reference[i];
}
}
/* Order ref0 from higher to lower poc */
do
{/*採用氣泡排序（不知道使用dowhile+for迴圈與雙重for迴圈有什麼優勢），對參考幀按照POC從高到低進行排序*/
b_ok = 1;
for( i = 0; i < h->i_ref0 - 1; i++ )
{
if( h->fref0[i]->i_poc < h->fref0[i+1]->i_poc )
{
XCHG( x264_frame_t*, h->fref0[i], h->fref0[i+1] );
b_ok = 0;
break;
}
}
} while( !b_ok );
/* Order ref1 from lower to higher poc (bubble sort) for B-frame */
do
{
b_ok = 1;
for( i = 0; i < h->i_ref1 - 1; i++ )
{
if( h->fref1[i]->i_poc > h->fref1[i+1]->i_poc )
{
XCHG( x264_frame_t*, h->fref1[i], h->fref1[i+1] );
b_ok = 0;
break;
}
}
} while( !b_ok );
/* In the standard, a P-frame's ref list is sorted by frame_num.
* We use POC, but check whether explicit reordering is needed */
h->b_ref_reorder[0] =
h->b_ref_reorder[1] = 0;
if( h->sh.i_type == SLICE_TYPE_P )
{
for( i = 0; i < h->i_ref0 - 1; i++ )
if( h->fref0[i]->i_frame_num < h->fref0[i+1]->i_frame_num )
{
h->b_ref_reorder[0] = 1;
break;
}
}
h->i_ref1 = X264_MIN( h->i_ref1, h->frames.i_max_ref1 );
h->i_ref0 = X264_MIN( h->i_ref0, h->frames.i_max_ref0 );
h->i_ref0 = X264_MIN( h->i_ref0, h->param.i_frame_reference ); // if reconfig() has lowered the limit
assert( h->i_ref0 + h->i_ref1 <= 16 );
h->mb.pic.i_fref[0] = h->i_ref0;//為什麼參考幀選擇這兩個，還沒有搞懂
h->mb.pic.i_fref[1] = h->i_ref1;
} if( i_nal_type == NAL_SLICE_IDR && h->param.b_repeat_headers )
{/*SPS和PPS是解碼需要用到的資訊，因此只有解碼器解析了SPS和PPS資訊
才能進行解碼，這就是為什麼在每個IDR幀前寫入這些資訊*/
if( h->fenc->i_frame == 0 )
{//僅僅在第一針寫入sei資訊
/* identify ourself */
x264_nal_start( h, NAL_SEI, NAL_PRIORITY_DISPOSABLE );/*開始整理nal。*/
x264_sei_version_write( h, &h->out.bs );//寫sei資訊
x264_nal_end( h );
}
/* generate sequence parameters */
x264_nal_start( h, NAL_SPS, NAL_PRIORITY_HIGHEST );/*開始整理nal。一個nal單元的首地址被賦值，
將要處理此新的nal單元；設定nal的優先權和型別。*/
x264_sps_write( &h->out.bs, h->sps );/*寫SPS資訊。
將序列引數集sps寫進位流結構中h->out.bs
不是每次都要寫SPS and PPS，只有碰見立即重新整理片（NAL_SLICE_IDR）時才寫*/
x264_nal_end( h );/*結束nal，整理nal
（1）輸出新nal單元的地址
（2）自增表示下一個新nal單元的序號*/
/* generate picture parameters */
x264_nal_start( h, NAL_PPS, NAL_PRIORITY_HIGHEST );/*開始整理nal。
一個nal單元的首地址被賦值，將要處理此新的nal單元；設定nal的優先權和型別。*/
x264_pps_write( &h->out.bs, h->pps );/*寫PPS資訊。
將序列引數集sps寫進位流結構中h->out.bs
不是每次都要寫SPS and PPS，只有碰見立即重新整理片（NAL_SLICE_IDR）時才寫*/
x264_nal_end( h );/*結束nal，整理nal
（1）輸出新nal單元的地址
（2）自增表示下一個新nal單元的序號*/
}二、片級編碼分析
未完！待續。。。