FFmpeg原始碼結構圖 解碼
=====================================================
FFmpeg的庫函式原始碼分析文章列表：
【架構圖】
【通用】
【解碼】【編碼】
【其它】
【指令碼】
【H.264】
=====================================================
近期研究了一下FFmpeg的內部的原始碼。之前對於FFmpeg的研究主要在它的應用層面上，因此製作的很多示例程式都是呼叫的FFmpeg的API。但是一直感覺這樣對FFmpeg的理解還是比較淺，所以打算剖析一下它的原始碼，理一下它內部結構的“脈絡”。但是有一個很難辦的問題：FFmpeg自帶的三個工程：ffplay， ffmpeg， ffprobe的程式碼量非常的大，其中包含了成百上千的API；而這些API背後又包含了大量的FFmpeg內部函式。如此一來，幾乎是不可能理清他們之間的關係的。經過一番思考之後，打算選擇FFmpeg編碼和解碼過程中的最核心的API進行分析。在編碼或者解碼的過程中，核心的API數量不多，一共大約10個左右，這樣一來就可以剖析其內部的原始碼了。
FFmpeg原始碼結構圖-解碼
首先呈現分析出來的FFmpeg原始碼結構圖。這張圖的尺寸非常的大，尺寸大約有4000x4000，有點像一張地圖（因此最好選擇“檢視更清晰的圖片”之後，右鍵儲存圖片到本機之後再檢視）。它表明了FFmpeg在解碼一個視訊的時候的函式呼叫流程。為了保證結構清晰，其中僅列出了最關鍵的函式，剔除了其它不是特別重要的函式。
下面解釋一下圖中關鍵標記的含義。
函式背景色
函式在圖中以方框的形式表現出來。不同的背景色標誌了該函式不同的作用：- 粉紅色背景函式：FFmpeg的API函式。
- 白色背景的函式：FFmpeg的內部函式。
- 黃色背景的函式：URLProtocol結構體中的函式，包含處理協議（Protocol）的功能。
- 綠色背景的函式：AVInputFormat結構體中的函式，包含處理封裝格式（Format）的功能。
- 藍色背景的函式：AVCodec結構體中的函式，包含了編解碼器（Codec）的功能。
區域
整個架構圖可以分為以下幾個區域：- 左邊區域——架構函式區域：這些函式並不針對某一特定的視訊格式。
- 右上方黃色區域——協議處理函式區域：不同的協議（RTP，RTMP，FILE）會呼叫不同的協議處理函式。
- 右邊中間綠色區域——封裝格式處理函式區域：不同的封裝格式（MKV，FLV，MPEGTS，AVI）會呼叫不同的封裝格式處理函式。
- 右邊下方藍色區域——編解碼函式區域：不同的編碼標準（HEVC，H.264，MPEG2）會呼叫不同的編解碼函式。
箭頭線
為了把呼叫關係表示的更明顯，圖中的箭頭線也使用了不同的顏色：
黑色箭頭線：標誌了函式之間的呼叫關係。
紅色的箭頭線：標誌瞭解碼的流程。
其他顏色的箭頭線：標誌了函式之間的呼叫關係。其中：
呼叫URLProtocol結構體中的函式用黃色箭頭線標識；
呼叫AVInputFormat結構體中的函式用綠色箭頭線標識；
呼叫AVCodec結構體中的函式用藍色箭頭線標識。
函式所在的檔案
每個函式旁邊標識了它所在的檔案的路徑。
此外，還有一點需要注意的是，一些API函式內部也呼叫了另一些API函式。也就是說，API函式並不一定全部都呼叫FFmpeg的內部函式，他也有可能呼叫其他的API函式。例如從圖中可以看出來，avformat_close_input()呼叫了avformat_free_context()和avio_close()。這些在內部程式碼中被呼叫的API函式也標記為粉紅色。函式呼叫關係
下面簡單列出幾個區域中函式之間的呼叫關係（函式之間的呼叫關係使用縮排的方式表現出來）。詳細的函式分析可以參考相關的《FFmpeg原始碼分析》系列文章。左邊區域（FFmpeg架構函式）
1. av_register_all()
1) avcodec_register_all()
(a) REGISTER_HWACCEL()
(b) REGISTER_ENCODER()
(c) REGISTER_DECODER()
(d) REGISTER_PARSER()
(e) REGISTER_BSF()
2) REGISTER_MUXER()
3) REGISTER_DEMUXER()
4) REGISTER_PROTOCOL()
2. avformat_alloc_context()
1) av_malloc(sizeof(AVFormatContext))
2) avformat_get_context_defaults()
(a) av_opt_set_defaults()
3. avformat_open_input()
1) init_input()
(a) avio_open2()
a) ffurl_open()
i. ffurl_alloc()
l url_find_protocol()
l url_alloc_for_protocol()
ii. ffurl_connect()
URLProtocol->url_open()
b) ffio_fdopen()
i. av_malloc(buffer_size)
ii. avio_alloc_context()
l av_mallocz(sizeof(AVIOContext))
l ffio_init_context()
(b) av_probe_input_buffer2()
a) avio_read()
i. AVInputFormat->read_packet()
b) av_probe_input_format2()
c) av_probe_input_format3()
i. av_iformat_next()
ii. av_match_name()
iii. av_match_ext()
iv. AVInputFormat->read_probe()
2) AVInputFormat->read_header()
4. avformat_find_stream_info()
1) find_decoder()
(a) avcodec_find_decoder()
2) avcodec_open2()
3) read_frame_internal()
4) try_decode_frame()
(a) avcodec_decode_video2()
5) avcodec_close()
6) estimate_timings()
(a) estimate_timings_from_pts()
(b) estimate_timings_from_bit_rate()
(c) update_stream_timings()
5. avcodec_find_decoder()
1) find_encdec()
6. avcodec_open2()
1) AVCodec->init()
7. av_read_frame()
1) read_from_packet_buffer()
2) read_frame_internal()
(a) ff_read_packet()
a) AVInputFormat->read_packet()
(b) parse_packet()
a) av_parser_parse2()
8. avcodec_decode_video2()
1) av_packet_split_side_data()
2) AVCodec-> decode()
3) av_frame_set_pkt_pos()
4) av_frame_set_best_effort_timestamp()
9. avcodec_close()
1) AVCodec->close()
10. avformat_close_input()
1) AVInputFormat->read_close()
2) avformat_free_context()
(a) ff_free_stream()
3) avio_close()
(a) avio_flush()
a) flush_buffer()
(b) ffurl_close()
a) ffurl_closep()
URLProtocol->url_close()
右上區域（URLProtocol協議處理函式）
URLProtocol結構體包含如下協議處理函式指標：url_open()：開啟url_read()：讀取url_write()：寫入url_seek()：調整進度url_close()：關閉
【例子】不同的協議對應著上述介面有不同的實現函式，舉幾個例子：
File協議（即檔案）對應的URLProtocol結構體ff_file_protocol：url_open() -> file_open() -> open()url_read() -> file_read() -> read()url_write() -> file_write() -> write()url_seek() -> file_seek() -> lseek()url_close() -> file_close() -> close()RTMP協議（libRTMP）對應的URLProtocol結構體ff_librtmp_protocol：
url_open() -> rtmp_open() -> RTMP_Init(), RTMP_SetupURL(), RTMP_Connect(), RTMP_ConnectStream()url_read() -> rtmp_read() -> RTMP_Read()url_write() -> rtmp_write() -> RTMP_Write()url_seek() -> rtmp_read_seek() -> RTMP_SendSeek()url_close() -> rtmp_close() -> RTMP_Close()UDP協議對應的URLProtocol結構體ff_udp_protocol：
url_open() -> udp_open()url_read() -> udp_read()url_write() -> udp_write()url_seek() -> udp_close()url_close() -> udp_close()
右中區域（AVInputFormat封裝格式處理函式）
AVInputFormat包含如下封裝格式處理函式指標：read_probe()：檢查格式read_header()：讀取檔案頭read_packet()：讀取一幀資料read_seek()：調整進度read_close()：關閉
【例子】不同的封裝格式對應著上述介面有不同的實現函式，舉幾個例子：
FLV封裝格式對應的AVInputFormat結構體ff_flv_demuxer：read_probe() -> flv_probe() –> probe()read_header() -> flv_read_header() -> create_stream() -> avformat_new_stream()read_packet() -> flv_read_packet()read_seek() -> flv_read_seek()read_close() -> flv_read_close()MKV封裝格式對應的AVInputFormat結構體ff_matroska_demuxer：
read_probe() -> matroska_probe()read_header() -> matroska_read_header()read_packet() -> matroska_read_packet()read_seek() -> matroska_read_seek()read_close() -> matroska_read_close()MPEG2TS封裝格式對應的AVInputFormat結構體ff_mpegts_demuxer：
read_probe() -> mpegts_probe()read_header() -> mpegts_read_header()read_packet() -> mpegts_read_packet() read_close() -> mpegts_read_close()AVI封裝格式對應的AVInputFormat結構體ff_avi_demuxer：
read_probe() -> avi_probe()read_header() -> avi_read_header()read_packet() -> avi_read_packet()read_seek() -> avi_read_seek()read_close() -> avi_read_close()
右下區域（AVCodec編解碼函式）
AVCodec包含如下編解碼函式指標：init()：初始化decode()：解碼一幀資料close()：關閉
【例子】不同的編解碼器對應著上述介面有不同的實現函式，舉幾個例子：
HEVC解碼對應的AVCodec結構體ff_hevc_decoder：init() -> hevc_decode_init()decode() -> hevc_decode_frame() -> decode_nal_units()close() -> hevc_decode_free()H.264解碼對應的AVCodec結構體ff_h264_decoder：
init() -> ff_h264_decode_init()decode() -> h264_decode_frame() -> decode_nal_units()close() -> h264_decode_end()VP8解碼（libVPX）對應的AVCodec結構體ff_libvpx_vp8_decoder：
init() -> vpx_init() -> vpx_codec_dec_init()decode() -> vp8_decode() -> vpx_codec_decode(), vpx_codec_get_frame()close() -> vp8_free() -> vpx_codec_destroy()MPEG2解碼對應的AVCodec結構體ff_mpeg2video_decoder：
init() -> mpeg_decode_init()decode() -> mpeg_decode_frame()close() -> mpeg_decode_end()
雷霄驊 (Lei Xiaohua)[email protected]://blog.csdn.net/leixiaohua1020