ffmpeg簡易播放器的實現-最簡版
阿新 • • 發佈：2018-11-29
實驗平臺：openSUSE Leap 42.3
ffmpeg版本：4.1
SDL版本：2.0.9
基於ffmpeg 4.1實現簡易視訊播放器，主要分為讀取視訊檔案解碼和呼叫SDL顯示兩大部分。具體流程可參考程式碼註釋。程式碼實現主要參考如下兩篇文章：
最簡單的基於FFMPEG+SDL的視訊播放器ver2(採用SDL2.0)
An ffmpeg and SDL Tutorial
1. 原始碼清單
/***************************************************************** * ffplayer.c * * history: * 2018-11-27 - [lei] created file * * details: * A simple ffmpeg player. * * refrence: * 1. https://blog.csdn.net/leixiaohua1020/article/details/38868499 * 2. http://dranger.com/ffmpeg/ffmpegtutorial_all.html#tutorial01.html * 3. http://dranger.com/ffmpeg/ffmpegtutorial_all.html#tutorial02.html ******************************************************************/ #include <stdio.h> #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> #include <libswscale/swscale.h> #include <SDL2/SDL.h> #include <SDL2/SDL_video.h> #include <SDL2/SDL_render.h> #include <SDL2/SDL_rect.h> int main(int argc, char *argv[]) { // Initalizing these to NULL prevents segfaults! AVFormatContext* p_fmt_ctx = NULL; AVCodecContext* p_codec_ctx = NULL; AVCodecParameters* p_codec_par = NULL; AVCodec* p_codec = NULL; AVFrame* p_frm_raw = NULL; // 幀，由包解碼得到原始幀 AVFrame* p_frm_yuv = NULL; // 幀，由原始幀色彩轉換得到 AVPacket* p_packet = NULL; // 包，從流中讀出的一段資料 struct SwsContext* sws_ctx = NULL; int buf_size; uint8_t* buffer = NULL; int i; int v_idx; int ret; SDL_Window* screen; SDL_Renderer* sdl_renderer; SDL_Texture* sdl_texture; SDL_Rect sdl_rect; if (argc < 2) { printf("Please provide a movie file\n"); return -1; } // 初始化libavformat(所有格式)，註冊所有複用器/解複用器 // av_register_all(); // 已被申明為過時的，直接不再使用即可 // A1. 開啟視訊檔案：讀取檔案頭，將檔案格式資訊儲存在"fmt context"中 ret = avformat_open_input(&p_fmt_ctx, argv[1], NULL, NULL); if (ret != 0) { printf("avformat_open_input() failed\n"); return -1; } // A2. 搜尋流資訊：讀取一段視訊檔案資料，嘗試解碼，將取到的流資訊填入pFormatCtx->streams // p_fmt_ctx->streams是一個指標陣列，陣列大小是pFormatCtx->nb_streams ret = avformat_find_stream_info(p_fmt_ctx, NULL); if (ret < 0) { printf("avformat_find_stream_info() failed\n"); return -1; } // 將檔案相關資訊列印在標準錯誤裝置上 av_dump_format(p_fmt_ctx, 0, argv[1], 0); // A3. 查詢第一個視訊流 v_idx = -1; for (i=0; i<p_fmt_ctx->nb_streams; i++) { if (p_fmt_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) { v_idx = i; printf("Find a video stream, index %d\n", v_idx); break; } } if (v_idx == -1) { printf("Cann't find a video stream\n"); return -1; } // A5. 為視訊流構建解碼器AVCodecContext // A5.1 獲取解碼器引數AVCodecParameters p_codec_par = p_fmt_ctx->streams[v_idx]->codecpar; // A5.2 獲取解碼器 p_codec = avcodec_find_decoder(p_codec_par->codec_id); if (p_codec == NULL) { printf("Cann't find codec!\n"); return -1; } // A5.3 構建解碼器AVCodecContext // A5.3.1 p_codec_ctx初始化：分配結構體，使用p_codec初始化相應成員為預設值 p_codec_ctx = avcodec_alloc_context3(p_codec); // A5.3.2 p_codec_ctx初始化：p_codec_par ==> p_codec_ctx，初始化相應成員 ret = avcodec_parameters_to_context(p_codec_ctx, p_codec_par); if (ret < 0) { printf("avcodec_parameters_to_context() failed %d\n", ret); return -1; } // A5.3.3 p_codec_ctx初始化：使用p_codec初始化p_codec_ctx，初始化完成 ret = avcodec_open2(p_codec_ctx, p_codec, NULL); if (ret < 0) { printf("avcodec_open2() failed %d\n", ret); return -1; } // A6. 分配AVFrame // A6.1 分配AVFrame結構，注意並不分配data buffer(即AVFrame.*data[]) p_frm_raw = av_frame_alloc(); p_frm_yuv = av_frame_alloc(); // A6.2 為AVFrame.*data[]手工分配緩衝區，用於儲存sws_scale()中目的幀視訊資料 // p_frm_raw的data_buffer由av_read_frame()分配，因此不需手工分配 // p_frm_yuv的data_buffer無處分配，因此在此處手工分配 buf_size = av_image_get_buffer_size(AV_PIX_FMT_YUV420P, p_codec_ctx->width, p_codec_ctx->height, 1 ); // buffer將作為p_frm_yuv的視訊資料緩衝區 buffer = (uint8_t *)av_malloc(buf_size); // 使用給定引數設定p_frm_yuv->data和p_frm_yuv->linesize av_image_fill_arrays(p_frm_yuv->data, // dst data[] p_frm_yuv->linesize, // dst linesize[] buffer, // src buffer AV_PIX_FMT_YUV420P, // pixel format p_codec_ctx->width, // width p_codec_ctx->height, // height 1 // align ); // A7. 初始化SWS context，用於後續影象轉換 sws_ctx = sws_getContext(p_codec_ctx->width, // src width p_codec_ctx->height, // src height p_codec_ctx->pix_fmt, // src format p_codec_ctx->width, // dst width p_codec_ctx->height, // dst height AV_PIX_FMT_YUV420P, // dst format SWS_BICUBIC, // flags NULL, // src filter NULL, // dst filter NULL // param ); // B1. 初始化SDL子系統：預設(事件處理、檔案IO、執行緒)、視訊、音訊、定時器 if (SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) { printf("SDL_Init() failed: %s\n", SDL_GetError()); return -1; } // B2. 建立SDL視窗，SDL 2.0支援多視窗 // SDL_Window即執行程式後彈出的視訊視窗，同SDL 1.x中的SDL_Surface screen = SDL_CreateWindow("Simplest ffmpeg player's Window", SDL_WINDOWPOS_UNDEFINED,// 不關心視窗X座標 SDL_WINDOWPOS_UNDEFINED,// 不關心視窗Y座標 p_codec_ctx->width, p_codec_ctx->height, SDL_WINDOW_OPENGL ); if (!screen) { printf("SDL_CreateWindow() failed: %s\n", SDL_GetError()); return -1; } // B3. 建立SDL_Renderer // SDL_Renderer：渲染器 sdl_renderer = SDL_CreateRenderer(screen, -1, 0); // B4. 建立SDL_Texture // 一個SDL_Texture對應一幀YUV資料，同SDL 1.x中的SDL_Overlay sdl_texture = SDL_CreateTexture(sdl_renderer, SDL_PIXELFORMAT_IYUV, SDL_TEXTUREACCESS_STREAMING, p_codec_ctx->width, p_codec_ctx->height); sdl_rect.x = 0; sdl_rect.y = 0; sdl_rect.w = p_codec_ctx->width; sdl_rect.h = p_codec_ctx->height; p_packet = (AVPacket *)av_malloc(sizeof(AVPacket)); // A8. 從視訊檔案中讀取一個packet // packet可能是視訊幀、音訊幀或其他資料，解碼器只會解碼視訊幀或音訊幀，非音視訊資料並不會被 // 扔掉、從而能向解碼器提供儘可能多的資訊 // 對於視訊來說，一個packet只包含一個frame // 對於音訊來說，若是幀長固定的格式則一個packet可包含整數個frame， // 若是幀長可變的格式則一個packet只包含一個frame while (av_read_frame(p_fmt_ctx, p_packet) == 0) { if (p_packet->stream_index == v_idx) // 僅處理視訊幀 { // A9. 視訊解碼：packet ==> frame // A9.1 向解碼器喂資料，一個packet可能是一個視訊幀或多個音訊幀，此處音訊幀已被上一句濾掉 ret = avcodec_send_packet(p_codec_ctx, p_packet); if (ret != 0) { printf("avcodec_send_packet() failed %d\n", ret); return -1; } // A9.2 接收解碼器輸出的資料，此處只處理視訊幀，每次接收一個packet，將之解碼得到一個frame ret = avcodec_receive_frame(p_codec_ctx, p_frm_raw); if (ret != 0) { printf("avcodec_receive_frame() failed %d\n", ret); return -1; } // A10. 影象轉換：p_frm_raw->data ==> p_frm_yuv->data // 將源影象中一片連續的區域經過處理後更新到目標影象對應區域，處理的影象區域必須逐行連續 // plane: 如YUV有Y、U、V三個plane，RGB有R、G、B三個plane // slice: 影象中一片連續的行，必須是連續的，順序由頂部到底部或由底部到頂部 // stride/pitch: 一行影象所佔的空間位元組數，Stride = BytesPerPixel * Width，4位元組對齊 // AVFrame.*data[]: 每個陣列元素指向對應plane // AVFrame.linesize[]: 每個陣列元素表示對應plane中一行影象所佔的空間位元組數 sws_scale(sws_ctx, // sws context (const uint8_t *const *)p_frm_raw->data, // src slice p_frm_raw->linesize, // src stride 0, // src slice y p_codec_ctx->height, // src slice height p_frm_yuv->data, // dst planes p_frm_yuv->linesize // dst strides ); // B5. 使用新的YUV畫素資料更新SDL_Rect SDL_UpdateYUVTexture(sdl_texture, // sdl texture &sdl_rect, // sdl rect p_frm_yuv->data[0], // y plane p_frm_yuv->linesize[0], // y pitch p_frm_yuv->data[1], // u plane p_frm_yuv->linesize[1], // u pitch p_frm_yuv->data[2], // v plane p_frm_yuv->linesize[2] // v pitch ); // B6. 使用特定顏色清空當前渲染目標 SDL_RenderClear(sdl_renderer); // B7. 使用部分影象資料(texture)更新當前渲染目標 SDL_RenderCopy(sdl_renderer, // sdl renderer sdl_texture, // sdl texture NULL, // src rect, if NULL copy texture &sdl_rect // dst rect ); // B8. 執行渲染，更新螢幕顯示 SDL_RenderPresent(sdl_renderer); // B9. 控制幀率為25FPS，此處不夠準確，未考慮解碼消耗的時間 SDL_Delay(40); } av_packet_unref(p_packet); } SDL_Quit(); sws_freeContext(sws_ctx); av_free(buffer); av_frame_free(&p_frm_yuv); av_frame_free(&p_frm_raw); avcodec_close(p_codec_ctx); avformat_close_input(&p_fmt_ctx); return 0; }
1.1 播放器基本原理
參考雷霄驊視音訊編解碼技術零基礎學習方法
第1節“視訊播放器原理”
1.2 流程簡述
流程比較簡單，不畫流程圖了，簡述如下：
media file ---[decode]---> raw frame ---[scale]---> yuv frame ---[SDL]---> display
media file --------------> p_frm_raw -------------> p_frm_yuv -----------> sdl_renderer 加上相關關鍵函式後，流程如下：
media_file ---[av_read_frame()]-----------> p_packet ---[avcodec_send_packet()]-----> decoder ---[avcodec_receive_frame()]---> p_frm_raw ---[sws_scale]-----------------> p_frm_yuv ---[SDL_UpdateYUVTexture()]----> display
1.3 相關概念
原始碼清單中涉及的一些概念簡述如下：
container:
對應資料結構AVFormatContext
封裝器，將流資料封裝為指定格式的檔案，檔案格式如AVI、MP4等。
ffmpeg可識別五種流型別：視訊video(v)、音訊audio(a)、attachment(t)、資料data(d)、字幕subtitle。
codec:
對應資料結構AVCodec
編解碼器。編碼器將未壓縮的原始影象或音訊資料編碼為壓縮資料。解碼器與之相反。
codec context:
對應資料結構AVCodecContext
編解碼器上下文。此為非常重要的一個數據結構，後文分析。各API大量使用AVCodecContext來引用編解碼器。
codec par:
對應資料結構AVCodecParameters
編解碼器引數。新版本增加的欄位。新版本建議使用AVStream->codepar替代AVStream->codec。
packet:
對應資料結構AVPacket
經過編碼的資料。通過av_read_frame()從媒體檔案中獲取得到的一個packet可能包含多個(整數個)音訊幀或單個
視訊幀，或者其他型別的流資料。
解碼過程中packet的流向為：
media file ---[av_read_frame()]---> packet ---[avcodec_send_packet()]---> decoder
frame:
對應資料結構AVFrame
解碼後的原始資料。解碼器將packet解碼後生成frame。
解碼過程中frame的資料流向為：
packet ---[avcodec_send_packet()]---> decoder ---[avcodec_receive_frame()]---> frame
plane:
如YUV有Y、U、V三個plane，RGB有R、G、B三個plane
slice:
影象中一片連續的行，必須是連續的，順序由頂部到底部或由底部到頂部
stride/pitch:
一行影象所佔的空間位元組數，Stride = BytesPerPixel * Width，x位元組對齊[待確認]
sdl window:
對應資料結構SDL_Window
播放視訊時彈出的視窗。在SDL1.x版本中，只可以建立一個視窗。在SDL2.0版本中，可以建立多個視窗。
sdl texture:
對應資料結構SDL_Texture
一個SDL_Texture對應一幀解碼後的影象資料。
sdl renderer:
對應資料結構SDL_Renderer
渲染器。將SDL_Texture渲染至SDL_Window。
sdl rect:
對應資料結構SDL_Rect
SDL_Rect用於確定SDL_Texture顯示的位置。一個SDL_Window上可以顯示多個SDL_Rect。這樣可以實現同一視窗的分屏顯示。
2、編譯
gcc -o ffplayer ffplayer.c -lavutil -lavformat -lavcodec -lavutil -lswscale -lSDL23、測試
./ffplayer 480x272.h265 4、參考資料
[1] 雷霄驊，FFmpeg原始碼簡單分析：常見結構體的初始化和銷燬(AVFormatContext，AVFrame等)
[2] 雷霄驊，最簡單的基於FFMPEG+SDL的視訊播放器ver2(採用SDL2.0)
[3] Martin Bohme, An ffmpeg and SDL Tutorial, Tutorial 01: Making Screencaps
[4] Martin Bohme, An ffmpeg and SDL Tutorial, Tutorial 02: Outputting to the Screen
[5] YUV影象裡的stride和plane的解釋
[6] 圖文詳解YUV420資料格式
[7] wiki，YUV
5、修改記錄
2018-11-23 V1.0 初稿