Qt音視訊開發7-ffmpeg音訊播放
阿新 • • 發佈:2020-08-10
一、前言
之前用ffmpeg解碼出來了音訊,只是做了儲存部分,比如儲存成aac檔案,播放的話早期用的是sdl來播放音訊,自從Qt5以後提供了QAudioOutput來播放輸入的音訊資料,就更加方便了,可以直接將解碼好的音訊資料寫入就能播放了,這些就少了個學習sdl的成本,而且和Qt就更加融合,不需要額外的第三方庫,解碼好的視訊,其實就是一張張圖片資料,可以直接用QPainter繪製或者QOpenGlWidget通過GPU顯示,解碼好的音訊用QAudioOutput播放,這對於很多初學者來說,是個很好的訊息,完美。
音訊播放大致的流程如下:
- 初始化格式QAudioFormat,設定對應的屬性。
- 初始化一個QAudioOutput音訊播放物件。
- 將QAudioOutput啟動後的播放裝置交給QIODevice。
- 開啟音訊流後初始化SwrContext用來轉換音訊資料。
- 迴圈解碼音訊資料後呼叫swr_convert轉換音訊資料。
- 將轉換好的音訊資料直接write到QIODevice。
二、功能特點
- 多執行緒實時播放視訊流+本地視訊+USB攝像頭等。
- 支援windows+linux+mac,支援ffmpeg3和ffmpeg4,支援32位和64位。
- 多執行緒顯示影象,不卡主介面。
- 自動重連網路攝像頭。
- 可設定邊框大小即偏移量和邊框顏色。
- 可設定是否繪製OSD標籤即標籤文字或圖片和標籤位置。
- 可設定兩種OSD位置和風格。
- 可設定是否儲存到檔案以及檔名。
- 可直接拖曳檔案到ffmpegwidget控制元件播放。
- 支援h265視訊流+rtmp等常見視訊流。
- 可暫停播放和繼續播放。
- 支援儲存單個視訊檔案和定時儲存視訊檔案。
- 自定義頂部懸浮條,傳送單擊訊號通知,可設定是否啟用。
- 可設定畫面拉伸填充或者等比例填充。
- 可設定解碼是速度優先、質量優先、均衡處理。
- 可對視訊進行截圖(原始圖片)和截圖。
- 錄影檔案儲存支援裸流和MP4檔案。
- 支援qsv、dxva2、d3d11va等硬解碼。
- 支援opengl繪製視訊資料,極低CPU佔用。
- 支援嵌入式linux,交叉編譯即可。
三、效果圖
四、相關站點
- 國內站點:https://gitee.com/feiyangqingyun/QWidgetDemo
- 國際站點:https://github.com/feiyangqingyun/QWidgetDemo
- 個人主頁:https://blog.csdn.net/feiyangqingyun
- 知乎主頁:https://www.zhihu.com/people/feiyangqingyun/
- 體驗地址:https://blog.csdn.net/feiyangqingyun/article/details/97565652
五、核心程式碼
void FFmpegThread::initAudioDevice(int sampleRate, int sampleSize, int channelCount)
{
#if (QT_VERSION > QT_VERSION_CHECK(5,0,0))
QAudioFormat format;
format.setCodec("audio/pcm");
format.setSampleRate(sampleRate);
format.setSampleSize(sampleSize * 8);
format.setChannelCount(channelCount);
format.setSampleType(QAudioFormat::SignedInt);
format.setByteOrder(QAudioFormat::LittleEndian);
QAudioDeviceInfo info(QAudioDeviceInfo::defaultOutputDevice());
audioDeviceOk = info.isFormatSupported(format);
if (audioDeviceOk) {
audioOutput = new QAudioOutput(format);
audioDevice = audioOutput->start();
} else {
qDebug() << TIMEMS << "Raw audio format not supported by backend, cannot play audio.";
}
#endif
}
void FFmpegThread::freeAudioDevice()
{
#if (QT_VERSION > QT_VERSION_CHECK(5,0,0))
audioOutput->stop();
audioOutput->deleteLater();
#endif
}
void FFmpegThread::decodeAudio()
{
//沒有啟用解碼音訊
if (!playAudio) {
return;
}
//儲存音訊流資料到檔案
saveFileAac();
//裝置不正常則不解碼
if (!audioDeviceOk) {
return;
}
//解碼音訊流
frameFinish = avcodec_decode_audio4(audioCtx, audioFrame, &frameFinish, tempPacket);
if (frameFinish) {
int result = swr_convert(audioSwrCtx, &audioData, audioFrame->nb_samples, (const uint8_t **)audioFrame->data, audioFrame->nb_samples);
if (result) {
int outsize = av_samples_get_buffer_size(NULL, audioCtx->channels, audioFrame->nb_samples, AV_SAMPLE_FMT_S16, 0);
audioDevice->write((char *)audioData, outsize);
}
}
}