這篇文章是我自己看的，你未必能看懂，當做我自己的備份。

FFmpeg是複雜的開源系統，剛開始玩只知道用命令ffmpeg -i test.mp4 這樣的。其實普通使用者能有用這個命令ffmpeg和FFmpeg框架是有區別的。

其實ffmpeg這個命令是一個程式，程式碼是FFmpeg的根目錄ffmpeg.c編譯出來的。這個ffmpeg.c呼叫了FFmpeg框架libavformat,libavcodec,libavfilters,libavutil的API，實現了對命令 ffmpeg -i test.mp4的解析。同理,ffplay其實是ffplay.c編譯出來的，它呼叫了FFmpeg框架和SDL進行編譯，FFmpeg作為編解碼庫，然後SDL作為顯示渲染YUV。

所以FFmpeg框架是不包含ffmpeg.c,fflpay,ffserver等這些的。你可以把它們當做使用FFmpeg框架的案例！

如果我們自己要寫程式碼進行解析mp4為YUV，進行濾鏡處理，進行分離音訊，以及合成MP4等，那麼就跟ffmpeg 這樣的命令一毛錢關係都沒有了。我們是通過呼叫FFmpeg的框架的API進行處理的，各種東西就需要我們處理。

比如先註冊各種東西，檢測輸入檔案和輸出檔案，得出InputStream以及上下文context什麼的。

Context什麼的都是程式執行的時候才能決定的。比如AVFormatContext。

通過av_read_frame從AVFormatContext裡面讀取AVPacket(包），可以迴圈讀，如果返回-1，標示結束。

再判斷&packet.stream_index是音訊還是視訊，通過av_find_best_stream函式呼叫訪問AVFormatContext就能知道音訊和視訊流的標示是0還是1.

判斷搞定後，可以從AVFormatContext的streams陣列中獲取AVStream.

可以通過stream->avg_frame_rate.num/stream->avg_frame.den得到fps.幀率。

同時也可以通過avcodec_decode_video2函式的呼叫，引數是AVFormatContext和AVPacket 以及AVFrame得到一幀Frame。

那麼這個AVFrame的pts可以通過這個函式av_frame_get_best_effort_timestamp(frame)獲得。

//===========如果通過AVFliter濾鏡處理===============

上面得到AVFrame之後，如果之前我們已經初始化了AVFilterGraph，已經把AVFilterLink搞定，那麼就可以通過

av_buffsersrc_add_frame函式引數是AVFilterContext和AVFrame(我們讀到的frame)，新增這個幀到濾鏡去，濾鏡自己處理了後。

通過av_buffersink_get_buffer_ref獲取濾鏡後的AVFilterBufferRef(這個結構體儲存了處理後的資料），結構和AVFrame差不多，可以copy過去。

一般AVFilterBufferRef通過函式sws_scale進行YUV的尺寸調整，否則在特殊情況下會導致視訊綠屏。

調整YUV 後，就可以寫入檔案什麼的，或者拿去播放了。

（貌似濾鏡通過後，pts會改變，需要調整,還沒具體測試，只是看到AVFilterBufferRef的結構這麼說）

//===============================================

如果我們得到AVFrame後不打算通過濾鏡，那麼就是把AVFrame的data儲存了，一般是YUV資料。

如上就是基本的簡單瞭解。需要注意的是time_base這個東西，AVCodectContext裡面的time_base和AVStream裡面的time_base是不一樣的。

其實每個結構體的time_base都不一樣，解碼和編碼不一樣。

關於音視訊同步問題，如果儲存YUV後，編碼成h264的時候就需要注意了，原視訊的幀率是多少。如果本來是30幀每秒，fps=30，你硬是設定

為num=1,den=25，結果就是視訊和音訊不同步，原因是視訊放得太慢了。還有一個就是如果本來是fps=19,你設定為25後，結果就是視訊也許

播放OK，但是會發現視訊最後幾幀不見了（也就是視訊變短了，其實是播放的速度太快，後面幾幀一閃而過）。

最後幾篇比較有用的文章：

MAC上搭建直播環境:nginx+rmtp環境，http://blog.csdn.net/yangxiao_xiang/article/details/51861688

推流，MAC上推攝像頭和桌面：http://blog.chinaunix.net/uid-11344913-id-4665455.html

AVFilter最有用的實戰:http://blog.csdn.net/encoder1234/article/details/53908931