FFmpeg簡析

FFmpeg從無到有，發展至今，功能日益強大，程式碼也越來越多，很多初學者都被其眾多的原始檔、龐大的結構體和複雜的演算法打消了繼續學習的念頭。本章節將從總體對FFmpeg進行簡單的解析，教您如何閱讀FFmpeg原始碼。

FFmpeg包含如下類庫：

libavformat - 用於各種音視訊封裝格式的生成和解析，包括獲取解碼所需資訊、讀取音視訊資料等功能。各種流媒體協議程式碼(如rtmpproto.c等)以及音視訊格式的(解)複用程式碼(如flvdec.c、flvenc.c等)都位於該目錄下。

libavcodec - 音視訊各種格式的編解碼。各種格式的編解碼程式碼(如aacenc.c、aacdec.c等)都位於該目錄下。

libavutil - 包含一些公共的工具函式的使用庫，包括算數運算，字元操作等。

libswscale - 提供原始視訊的比例縮放、色彩對映轉換、影象顏色空間或格式轉換的功能。

libswresample - 提供音訊重取樣，取樣格式轉換和混合等功能。

libpostproc - 用於後期效果處理，如影象的去塊效應等。

libavdevice - 用於硬體的音視訊採集、加速和顯示。

如果您之前沒有閱讀FFmpeg程式碼的經驗，建議優先閱讀libavformat、libavcodec以及libavutil下面的程式碼，它們提供了音視訊開發的最基本功能，應用範圍也是最廣的。

FFmpeg裡面最常用的資料結構，按功能可大致分為以下幾類(以下程式碼行數，以branch: origin/release/3.4為準)：

1. 封裝格式

◦AVFormatContext - 描述了媒體檔案的構成及基本資訊，是統領全域性的基本結構體，貫穿程式始終，很多函式都要用它作為引數；

◦AVInputFormat - 解複用器物件，每種作為輸入的封裝格式(例如FLV、MP4、TS等)對應一個該結構體，如libavformat/flvdec.c的ff_flv_demuxer；

◦AVOutputFormat - 複用器物件，每種作為輸出的封裝格式（例如FLV, MP4、TS等）對應一個該結構體，如libavformat/flvenc.c的

◦AVStream - 用於描述一個視訊/音訊流的相關資料資訊。

2.編解碼

◦AVCodecContext - 描述編解碼器上下文的資料結構，包含了眾多編解碼器需要的引數資訊；

◦AVCodec - 編解碼器物件，每種編解碼格式(例如H.264、AAC等）對應一個該結構體，如libavcodec/aacdec.c的ff_aac_decoder。每個AVCodecContext中含有一個AVCodec；

◦AVCodecParameters - 編解碼引數，每個AVStream中都含有一個AVCodecParameters，用來存放當前流的編解碼引數。

3. 網路協議

◦URLProtocol - 描述了音視訊資料傳輸所使用的協議，每種傳輸協議(例如HTTP、RTMP)等，都會對應一個URLProtocol結構，如libavformat/http.c中的ff_http_protocol；

◦URLContext - 封裝了協議物件及協議操作物件。

[if !supportLists]4. [endif]資料存放

◦AVPacket - 存放編碼後、解碼前的壓縮資料，即ES資料；

◦AVFrame - 存放編碼前、解碼後的原始資料，如YUV格式的視訊資料或PCM格式的音訊資料等；

上述結構體的關係圖如下所示(箭頭表示派生出)：

下面這段程式碼完成了讀取媒體檔案中音視訊資料的基本功能，本節以此為例，分析FFmpeg內部程式碼的呼叫邏輯。

char *url = "http://192.168.1.105/test.flv";

AVPacket pkt;

int ret = 0;

//註冊複用器、編碼器等

av_register_all();

avformat_network_init();

//開啟檔案

AVFormatContext *fmtCtx = avformat_alloc_context();

ret = avformat_open_input(&fmtCtx, url, NULL, NULL);

ret = avformat_find_stream_info(fmtCtx, NULL);

//讀取音視訊資料

while(ret >= 0)

{

  ret = av_read_frame(s, &pkt);

}

av_register_all函式的作用是註冊一系列的(解)複用器、編/解碼器等。它在所有基於FFmpeg的應用程式中幾乎都是第一個被呼叫的，只有呼叫了該函式，才能使用複用器、編碼器等。

static void register_all(void)

{

avcodec_register_all();

    /* (de)muxers */

    ……

    REGISTER_MUXDEMUX(FLV,              flv);

    ……

}

編/解碼其註冊過程相同，此處不再贅述。

FFmpeg讀取媒體資料的過程始於avformat_open_input，該方法中完成了媒體檔案的開啟和格式探測的功能。但FFmpeg是如何找到正確的流媒體協議和解複用器呢？可以看到avformat_open_input方法中呼叫了init_input函式，在這裡面完成了查詢流媒體協議和解複用器的工作。

static intinit_input(AVFormatContext *s, const char *filename,

AVDictionary **options)

{

int ret;

    ……

    if ((ret = s->io_open(s, &s->pb, filename, AVIO_FLAG_READ | s->avio_flags, options)) < 0)

        return ret;

    if (s->iformat)

        return 0;

    return av_probe_input_buffer2(s->pb, &s->iformat, filename,

                                 s, 0, s->format_probesize);

}

[if !supportLists]1. [endif]s->io_open實際上呼叫的就是io_open_default，它最終呼叫到url_find_protocol方法。

static conststructURLProtocol *url_find_protocol(const char *filename)

{

constURLProtocol **protocols;

    ……

    protocols = ffurl_get_protocols(NULL, NULL);

    if (!protocols)

        return NULL;

    for (i = 0; protocols[i]; i++) {

constURLProtocol *up = protocols[i];

        if (!strcmp(proto_str, up->name)) {

av_freep(&protocols);

            return up;

        }

        if (up->flags & URL_PROTOCOL_FLAG_NESTED_SCHEME &&

!strcmp(proto_nested, up->name)) {

av_freep(&protocols);

            return up;

        }

    }

av_freep(&protocols);

    return NULL;

}

ffurl_get_protocols可以得到當前編譯的FFmpeg支援的所有流媒體協議，通過url的scheme和protocol->name相比較，得到正確的protocol。例如本例中URLProtocol最終指向了libavformat/http.c中的ff_http_protocol。

[if !supportLists]1. [endif]av_probe_input_buffer2最終呼叫到av_probe_input_format3，該方法遍歷所有的解複用器，即first_iformat連結串列中的所有節點，呼叫它們的read_probe()函式計算匹配得分，函式最終返回計算找到的最匹配的解複用器。本例中AVInputFormat最終指向了libavformat/flvdec.c中的ff_flv_demuxer。

av_read_frame作用是讀取媒體資料中的每個音視訊幀，該方法中最關鍵的地方就是呼叫了AVInputFormat的read_packet()方法。AVInputFormat的read_packet()是一個函式指標，指向當前的AVInputFormat的讀取資料的函式。在本例中，AVInputFormat為ff_flv_demuxer，也就是說read_packet最終指向了flv_read_packet。