ffmpeg實戰教程(一)Mp4,mkv等格式解碼為h264和yuv資料
FFmpeg有非常強大的功能包括視訊採集功能、視訊格式轉換、視訊抓圖、給視訊加水印等。而網上對這些功能的使用大多是基於命令列的。這不利於我們深入學習定製化ffmpeg,今後我將寫一系列的用程式碼實現這些功能的教程供大家學習。這系列的前部分我打算寫在windows上的實現,後部分寫移植到Android系統上實現。
程式碼實現的前提是對ffmpeg原始碼有一定的瞭解,如果你不瞭解可以看這裡
ffmpeg原始碼簡析(一)結構總覽
下面進入正題,用FFmpeg實現Mp4,mkv等格式的解碼。解碼為h264和YUV資料並存在檔案中。
先上執行結果圖,可見生成了兩個檔案即是解碼之後的資料:
h264比YUV檔案小了這麼多。h264壓縮技術真是槓槓的。新一代壓縮技術H265更是槓槓的以後給大家介紹這塊。
先介紹整個流程,然後給出原始碼。
1.把名稱為ws.mp4的視訊拷貝進專案跟目錄
然後建立兩個解碼後的輸出檔案 程式碼如下:
char filepath[]="ws.mp4";
FILE *fp_yuv=fopen("output.yuv","wb+");
FILE *fp_h264=fopen("output.h264","wb+");
2.然後就是初始化一些元件
av_register_all();//註冊所有元件
avformat_network_init();//初始化網路
pFormatCtx = avformat_alloc_context();//初始化一個AVFormatContext
3.開啟視訊檔案,並獲取視訊資訊,選擇解碼器
avformat_open_input(&pFormatCtx,filepath,NULL,NULL)
avformat_find_stream_info(pFormatCtx,NULL)
avcodec_find_decoder(pCodecCtx->codec_id)
4.開啟解碼器,開始解碼
avcodec_open2(pCodecCtx, pCodec,NULL)
avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet)
注意:當av_read_frame()迴圈退出的時候,實際上解碼器中可能還包含剩餘的幾幀資料。
因此需要通過“flush_decoder”將這幾幀資料輸出。“flush_decoder”功能簡而言之即直接呼叫avcodec_decode_video2()獲得AVFrame,而不再向解碼器傳遞AVPacket。程式碼如下:
while (1) {
ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
if (ret < 0)
break;
if (!got_picture)
break;
sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height,
pFrameYUV->data, pFrameYUV->linesize);
int y_size=pCodecCtx->width*pCodecCtx->height;
fwrite(pFrameYUV->data[0],1,y_size,fp_yuv); //Y
fwrite(pFrameYUV->data[1],1,y_size/4,fp_yuv); //U
fwrite(pFrameYUV->data[2],1,y_size/4,fp_yuv); //V
printf("Flush Decoder: Succeed to decode 1 frame!\n");
}
工程執行之後,可見生成了兩個檔案即是解碼之後的資料:
原始碼如下:
#include <stdio.h>
#define __STDC_CONSTANT_MACROS
#ifdef _WIN32
//Windows
extern "C"
{
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libswscale/swscale.h"
};
#else
//Linux...
#ifdef __cplusplus
extern "C"
{
#endif
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libswscale/swscale.h>
#ifdef __cplusplus
};
#endif
#endif
int main(int argc, char* argv[])
{
AVFormatContext *pFormatCtx;
int i, videoindex;
AVCodecContext *pCodecCtx;
AVCodec *pCodec;
AVFrame *pFrame,*pFrameYUV;
uint8_t *out_buffer;
AVPacket *packet;
int y_size;
int ret, got_picture;
struct SwsContext *img_convert_ctx;
char filepath[]="ws.mp4";
FILE *fp_yuv=fopen("output.yuv","wb+");
FILE *fp_h264=fopen("output.h264","wb+");
av_register_all();//註冊所有元件
avformat_network_init();//初始化網路
pFormatCtx = avformat_alloc_context();//初始化一個AVFormatContext
if(avformat_open_input(&pFormatCtx,filepath,NULL,NULL)!=0){//開啟輸入的視訊檔案
printf("Couldn't open input stream.\n");
return -1;
}
if(avformat_find_stream_info(pFormatCtx,NULL)<0){//獲取視訊檔案資訊
printf("Couldn't find stream information.\n");
return -1;
}
videoindex=-1;
for(i=0; i<pFormatCtx->nb_streams; i++)
if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO){
videoindex=i;
break;
}
if(videoindex==-1){
printf("Didn't find a video stream.\n");
return -1;
}
pCodecCtx=pFormatCtx->streams[videoindex]->codec;
pCodec=avcodec_find_decoder(pCodecCtx->codec_id);//查詢解碼器
if(pCodec==NULL){
printf("Codec not found.\n");
return -1;
}
if(avcodec_open2(pCodecCtx, pCodec,NULL)<0){//開啟解碼器
printf("Could not open codec.\n");
return -1;
}
pFrame=av_frame_alloc();
pFrameYUV=av_frame_alloc();
out_buffer=(uint8_t *)av_malloc(avpicture_get_size(PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height));
avpicture_fill((AVPicture *)pFrameYUV, out_buffer, PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height);
packet=(AVPacket *)av_malloc(sizeof(AVPacket));
//Output Info-----------------------------
printf("--------------- File Information ----------------\n");
av_dump_format(pFormatCtx,0,filepath,0);
printf("-------------------------------------------------\n");
img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt,
pCodecCtx->width, pCodecCtx->height, PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);
while(av_read_frame(pFormatCtx, packet)>=0){//讀取一幀壓縮資料
if(packet->stream_index==videoindex){
fwrite(packet->data,1,packet->size,fp_h264); //把H264資料寫入fp_h264檔案
ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);//解碼一幀壓縮資料
if(ret < 0){
printf("Decode Error.\n");
return -1;
}
if(got_picture){
sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height,
pFrameYUV->data, pFrameYUV->linesize);
y_size=pCodecCtx->width*pCodecCtx->height;
fwrite(pFrameYUV->data[0],1,y_size,fp_yuv); //Y
fwrite(pFrameYUV->data[1],1,y_size/4,fp_yuv); //U
fwrite(pFrameYUV->data[2],1,y_size/4,fp_yuv); //V
printf("Succeed to decode 1 frame!\n");
}
}
av_free_packet(packet);
}
//flush decoder
/*當av_read_frame()迴圈退出的時候,實際上解碼器中可能還包含剩餘的幾幀資料。
因此需要通過“flush_decoder”將這幾幀資料輸出。
“flush_decoder”功能簡而言之即直接呼叫avcodec_decode_video2()獲得AVFrame,而不再向解碼器傳遞AVPacket。*/
while (1) {
ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
if (ret < 0)
break;
if (!got_picture)
break;
sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height,
pFrameYUV->data, pFrameYUV->linesize);
int y_size=pCodecCtx->width*pCodecCtx->height;
fwrite(pFrameYUV->data[0],1,y_size,fp_yuv); //Y
fwrite(pFrameYUV->data[1],1,y_size/4,fp_yuv); //U
fwrite(pFrameYUV->data[2],1,y_size/4,fp_yuv); //V
printf("Flush Decoder: Succeed to decode 1 frame!\n");
}
sws_freeContext(img_convert_ctx);
//關閉檔案以及釋放記憶體
fclose(fp_yuv);
fclose(fp_h264);
av_frame_free(&pFrameYUV);
av_frame_free(&pFrame);
avcodec_close(pCodecCtx);
avformat_close_input(&pFormatCtx);
return 0;
}
編譯執行
1.VC++ 下配置好ffmpeg環境之後將程式碼拷貝進原始檔目錄即可。自行百度配置。
g++ ffmpeg_decoder.cpp -g -o ffmpeg_decoder.exe \
-I /usr/local/include -L /usr/local/lib \
-lmingw32 -lSDL2main -lSDL2 -lavformat -lavcodec -lavutil -lswscale
注意:MinGW執行命令之前要配置一下。
(1)從FFmpeg Windows Build (http://ffmpeg.zeranoe.com/) 網站下載最新的shared 和dev版本的FFmpeg。
(2)在Msys安裝目錄下建立“local”資料夾,“local”資料夾下建立“include”和“lib”資料夾。
(3)將FFmpeg的dev版本下的include拷貝至{msys}/local/include;lib拷貝至{msys}/local/lib。
(4)將FFmpeg的shared版本下的Dll拷貝至{mingw}/bin。
3.GCC:Linux或者MacOS命令列下執行命令
gcc ffmpeg_decoder.cpp -g -o ffmpeg_decoder.out \
-I /usr/local/include -L /usr/local/lib -lSDL2main -lSDL2 -lavformat -lavcodec -lavutil -lswscale