1. 程式人生 > 實用技巧 >Qt音視訊開發7-ffmpeg音訊播放

Qt音視訊開發7-ffmpeg音訊播放

一、前言

之前用ffmpeg解碼出來了音訊,只是做了儲存部分,比如儲存成aac檔案,播放的話早期用的是sdl來播放音訊,自從Qt5以後提供了QAudioOutput來播放輸入的音訊資料,就更加方便了,可以直接將解碼好的音訊資料寫入就能播放了,這些就少了個學習sdl的成本,而且和Qt就更加融合,不需要額外的第三方庫,解碼好的視訊,其實就是一張張圖片資料,可以直接用QPainter繪製或者QOpenGlWidget通過GPU顯示,解碼好的音訊用QAudioOutput播放,這對於很多初學者來說,是個很好的訊息,完美。

音訊播放大致的流程如下:

  1. 初始化格式QAudioFormat,設定對應的屬性。
  2. 初始化一個QAudioOutput音訊播放物件。
  3. 將QAudioOutput啟動後的播放裝置交給QIODevice。
  4. 開啟音訊流後初始化SwrContext用來轉換音訊資料。
  5. 迴圈解碼音訊資料後呼叫swr_convert轉換音訊資料。
  6. 將轉換好的音訊資料直接write到QIODevice。

二、功能特點

  1. 多執行緒實時播放視訊流+本地視訊+USB攝像頭等。
  2. 支援windows+linux+mac,支援ffmpeg3和ffmpeg4,支援32位和64位。
  3. 多執行緒顯示影象,不卡主介面。
  4. 自動重連網路攝像頭。
  5. 可設定邊框大小即偏移量和邊框顏色。
  6. 可設定是否繪製OSD標籤即標籤文字或圖片和標籤位置。
  7. 可設定兩種OSD位置和風格。
  8. 可設定是否儲存到檔案以及檔名。
  9. 可直接拖曳檔案到ffmpegwidget控制元件播放。
  10. 支援h265視訊流+rtmp等常見視訊流。
  11. 可暫停播放和繼續播放。
  12. 支援儲存單個視訊檔案和定時儲存視訊檔案。
  13. 自定義頂部懸浮條,傳送單擊訊號通知,可設定是否啟用。
  14. 可設定畫面拉伸填充或者等比例填充。
  15. 可設定解碼是速度優先、質量優先、均衡處理。
  16. 可對視訊進行截圖(原始圖片)和截圖。
  17. 錄影檔案儲存支援裸流和MP4檔案。
  18. 支援qsv、dxva2、d3d11va等硬解碼。
  19. 支援opengl繪製視訊資料,極低CPU佔用。
  20. 支援嵌入式linux,交叉編譯即可。

三、效果圖

四、相關站點

  1. 國內站點:https://gitee.com/feiyangqingyun/QWidgetDemo
  2. 國際站點:https://github.com/feiyangqingyun/QWidgetDemo
  3. 個人主頁:https://blog.csdn.net/feiyangqingyun
  4. 知乎主頁:https://www.zhihu.com/people/feiyangqingyun/
  5. 體驗地址:https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心程式碼

void FFmpegThread::initAudioDevice(int sampleRate, int sampleSize, int channelCount)
{
#if (QT_VERSION > QT_VERSION_CHECK(5,0,0))
    QAudioFormat format;
    format.setCodec("audio/pcm");
    format.setSampleRate(sampleRate);
    format.setSampleSize(sampleSize * 8);
    format.setChannelCount(channelCount);
    format.setSampleType(QAudioFormat::SignedInt);
    format.setByteOrder(QAudioFormat::LittleEndian);

    QAudioDeviceInfo info(QAudioDeviceInfo::defaultOutputDevice());
    audioDeviceOk = info.isFormatSupported(format);
    if (audioDeviceOk) {
        audioOutput = new QAudioOutput(format);
        audioDevice = audioOutput->start();
    } else {
        qDebug() << TIMEMS << "Raw audio format not supported by backend, cannot play audio.";
    }
#endif
}

void FFmpegThread::freeAudioDevice()
{
#if (QT_VERSION > QT_VERSION_CHECK(5,0,0))
    audioOutput->stop();
    audioOutput->deleteLater();
#endif
}

void FFmpegThread::decodeAudio()
{
    //沒有啟用解碼音訊
    if (!playAudio) {
        return;
    }

    //儲存音訊流資料到檔案
    saveFileAac();

    //裝置不正常則不解碼
    if (!audioDeviceOk) {
        return;
    }

    //解碼音訊流
    frameFinish = avcodec_decode_audio4(audioCtx, audioFrame, &frameFinish, tempPacket);
    if (frameFinish) {
        int result = swr_convert(audioSwrCtx, &audioData, audioFrame->nb_samples, (const uint8_t **)audioFrame->data, audioFrame->nb_samples);
        if (result) {
            int outsize = av_samples_get_buffer_size(NULL, audioCtx->channels, audioFrame->nb_samples, AV_SAMPLE_FMT_S16, 0);
            audioDevice->write((char *)audioData, outsize);
        }
    }
}