2. 程式人生 > 實用技巧 >Qt音視訊開發46-視訊傳輸UDP版

Qt音視訊開發46-視訊傳輸UDP版

阿新 • • 發佈：2020-11-04

一、前言

上篇文章寫道採用的TCP傳輸視訊，優缺點很明顯，優點就是不丟包，缺點就是速度慢，後面換成UDP通訊，速度快了很多，少了3次握手，而且在區域網中基本上不丟包，就算偶爾丟包，對於一秒鐘25-30張圖片來說，偶爾一張圖片丟失，基本上看不出來，所以忽略，但是放到廣域網或者網際網路比如阿里雲平臺上測試的話，UDP慘不忍睹，丟包蠻多的，畢竟包資料特別多。

Qt的網路通訊類，我們平時常用的就是三個：QTcpSocket客戶端類、QTcpServer服務端類、QUdpSocket通訊類，為啥沒有QUdpServer類？其實UDP是無連線的通訊，佔用資源很小，他既可以是客戶端也可以是服務端，如果要作為服務端則指定埠呼叫bind方法即可。本程式同時支援了TCP模式和UDP模式，實際測試下來，還是建議使用TCP模式，UDP模式由於無連線在短時間內傳送大量的資料包發現會丟包，而且包的大小有限制，是65507位元組，大約64K，所以UDP模式下實時傳輸的圖片解析度不能太大，實測640*480的視訊檔案還是挺好的，720P基本上有點慘，丟包好多，可能後期還需要從協議上改進處理。

本程式和協議約定的圖片採用base64編碼傳輸，接收到以後將base64字串解碼出來生成圖片，QByteArray內建類toBase64方法轉成base64編碼的字串，QByteArray::fromBase64方法將base64字串還原成資料。在經過多次的實驗以後統計的資料顯示，編碼解碼的速度還可以，其中720P圖片編碼25ms-30ms、解碼15ms-20ms，1080P圖片編碼35ms-40ms、解碼25ms-30ms。總體上來說一秒鐘傳輸25-30張圖片和解碼25-30張圖片，還是沒有什麼問題的，只是走的CPU編碼解碼，如果開的通道數比較多的話，還是很耗CPU的，但是應付一些簡單的應用場景還是如魚得水毫無壓力。

通訊協議：

  1. 採用TCP長連線和UDP協議可選，預設通訊埠6000。
  2. 採用自定義的xml通訊協議。
  3. 所有傳輸加20個位元組頭部：IIMAGE:0000000000000，IIMAGE:為固定頭部，後面接13個位元組的 內容的長度（含20個頭部長度） 字串。
  4. 下面協議部分省略了頭部位元組。
  5. 服務端返回的資料中的uuid是對應接收到的訊息的uuid。
  6. 服務端每次返回的時候都帶了當前時間，可用於客戶端校時。
客戶端傳送心跳
<?xml version="1.0" encoding="UTF-8"?>
<ImageClient Uuid="8AF12208-0356-434C-8A49-69A2170D9B5A" Flag="SHJC00000001">
    <ClientHeart/>
</ImageClient>

伺服器收到心跳返回
<?xml version="1.0" encoding="UTF-8"?>
<ImageServer Uuid="8AF12208-0356-434C-8A49-69A2170D9B5A" NowTime="2019-12-05 16:37:47">
    Ok
</ImageServer>

客戶端傳送圖片
<?xml version="1.0" encoding="UTF-8"?>
<ImageClient Uuid="66BCB44A-B567-48ED-8889-36B8FA6C4363" Flag="SHJC00000001">
    <ClientImage>圖片base64編碼後的字串/9j/4AAQSkZJRgABAQEAYABgAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDAsLDBkSEw8UHRofHh0aHBwgJC4nICIsIxwcKDcpLDAxNDQ0Hyc5PTgyPC4zNDL/2wBDAQkJCQwLDBgNDRgyIRwhMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjL/wAARCAJAAtADASIAAhEBAxEB/8QAHwAAAQUBAQEB...nvWsQRlXA61mTjmtWcdazLgcmrQ0U2plSMKjpDE7UtFFAwxRRRQAUuKWigQlFFFLcD//2Q==</ClientImage>
</ImageClient>

服務端收到圖片返回
<?xml version="1.0" encoding="UTF-8"?>
<ImageServer Uuid="66BCB44A-B567-48ED-8889-36B8FA6C4363" NowTime="2019-12-05 16:38:47">
    Ack
</ImageServer>

二、功能特點

  1. 多執行緒收發圖片資料和解析圖片資料，不卡主介面。
  2. 同時支援TCP和UDP兩種模式，封裝了TCP模式以及UDP模式的客戶端類和服務端類。
  3. 圖片傳輸客戶端同時支援傳送到多個服務端，可以作為一個教師機同屏傳送到多個學生機的應用場景。
  4. 同時支援多個客戶端同時往服務端傳送圖片，服務端每個連線都會自動開闢執行緒收發和解析圖片資料。
  5. 自定義label控制元件訊號槽機制繪製圖片，不卡主介面。
  6. 自帶心跳機制判斷離線，自動重連伺服器，可設定超時時間。
  7. 每個訊息都有唯一的訊息標識uuid，服務端收到以後會返回對應的uuid訊息表示收到，客戶端可以根據此返回訊息判斷服務端解析成功，不用再發，這樣可以確保發出去的資料伺服器接收到了並解析成功。
  8. 每個訊息都有唯一的圖片標識flag，相當於ID號，根據此標識判斷需要解析顯示到哪個介面。
  9. 圖片以base64的字串格式傳送，接收端接收到base64字串的圖片資料解碼後重新生成圖片。
  10. 所有資料的收發都有訊號發出去，方便輸出檢視。
  11. 都提供單例類，方便只有一個的時候直接使用無需new。
  12. 採用自定義的xml協議，可以自由拓展其他屬性欄位比如帶上圖片內容等。

三、效果圖

四、相關站點

  1. 國內站點：https://gitee.com/feiyangqingyun/QWidgetDemo
  2. 國際站點：https://github.com/feiyangqingyun/QWidgetDemo
  3. 個人主頁：https://blog.csdn.net/feiyangqingyun
  4. 知乎主頁：https://www.zhihu.com/people/feiyangqingyun/
  5. 體驗地址：https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心程式碼

#include "udpimageclient.h"
#include "devicefun.h"

QScopedPointer<UdpImageClient> UdpImageClient::self;
UdpImageClient *UdpImageClient::Instance()
{
    if (self.isNull()) {
        static QMutex mutex;
        QMutexLocker locker(&mutex);
        if (self.isNull()) {
            self.reset(new UdpImageClient);
        }
    }

    return self.data();
}

UdpImageClient::UdpImageClient(QObject *parent) : QThread(parent)
{
    //如果是外網請自行調整這個值的大小,外網需要調小
    packageSize = 10000;
    flag = "SHJC00000001";
    serverIP = "127.0.0.1";
    serverPort = 6000;

    stopped = false;

    //UDP通訊物件
    udpSocket = new QUdpSocket(this);
    connect(udpSocket, SIGNAL(readyRead()), this, SLOT(readData()));

    //定時器解析收到的資料,可以自行調整間隔
    timerData = new QTimer(this);
    connect(timerData, SIGNAL(timeout()), this, SLOT(checkData()));
    timerData->setInterval(100);

    //繫結訊號啟動後啟動定時器
    connect(this, SIGNAL(started()), this, SLOT(started()));
    //繫結傳送資料訊號槽
    connect(this, SIGNAL(readyWrite(QString)), this, SLOT(sendImage(QString)));
}

UdpImageClient::~UdpImageClient()
{
    this->stop();
}

void UdpImageClient::run()
{
    while (!stopped) {
        //這裡採用執行緒去處理,其實完全可以用定時器搞定,畢竟tcp的write是非同步的,作業系統自動排程
        //為了後期的拓展性,比如需要判斷是否傳送成功之類的,需要同步處理,所以改成的執行緒去處理
        //圖片資料轉成base64編碼的資料也需要時間的,主要的耗時在轉碼
        //取出資料傳送,這裡需要加鎖,避免正在插入資料
        if (images.count() > 0) {
            QMutexLocker locker(&mutexImage);
            QImage image = images.takeFirst();
            QString imageData = DeviceFun::getImageData(image);
            emit readyWrite(imageData);
        }

        //要稍微休息下,否則CPU會被一直佔用
        msleep(1);
    }

    stopped = false;
}

void UdpImageClient::readData()
{
    QHostAddress host;
    quint16 port;
    QByteArray data;

    while (udpSocket->hasPendingDatagrams()) {
        data.resize(udpSocket->pendingDatagramSize());
        udpSocket->readDatagram(data.data(), data.size(), &host, &port);

        //接收的資料存入buffer需要加鎖
        QMutexLocker locker(&mutexData);
        buffer.append(data);
        emit receiveData(data);
    }
}

void UdpImageClient::checkData()
{
    if (buffer.length() == 0) {
        return;
    }

    //取出資料處理需要加鎖,防止此時正在插入資料
    QMutexLocker locker(&mutexData);
    QDomDocument dom;
    if (!DeviceFun::getReceiveXmlData(buffer, dom, "IIMAGE:", 11, true)) {
        return;
    }

    //逐個取出節點判斷資料
    QDomElement element = dom.documentElement();
    if (element.tagName() == "ImageServer") {
        QString uuid = element.attribute("Uuid");
        QDomNode childNode = element.firstChild();
        QString name = childNode.nodeName();
        QString value = element.text();
        //qDebug() << uuid << name << value;
        //這裡可以根據收到的資料自行增加自己的處理
    }
}

void UdpImageClient::started()
{
    if (!timerData->isActive()) {
        timerData->start();
    }
}

void UdpImageClient::stop()
{
    buffer.clear();
    images.clear();
    stopped = true;
    this->wait();
    udpSocket->disconnectFromHost();

    if (timerData->isActive()) {
        timerData->stop();
    }
}

void UdpImageClient::setPackageSize(int packageSize)
{
    if (packageSize <= 65507) {
        this->packageSize = packageSize;
    }
}

void UdpImageClient::setFlag(const QString &flag)
{
    this->flag = flag;
}

void UdpImageClient::setServerIP(const QString &serverIP)
{
    this->serverIP = serverIP;
}

void UdpImageClient::setServerPort(int serverPort)
{
    this->serverPort = serverPort;
}

void UdpImageClient::writeData(const QString &body)
{
    //構建xml字串
    QStringList list;
    list.append(QString("<ImageClient Uuid=\"%1\" Flag=\"%2\">").arg(DeviceFun::getUuid()).arg(flag));
    list.append(body);
    list.append("</ImageClient>");

    //呼叫通用方法根據協議組成完整資料
    QString data = DeviceFun::getSendXmlData(list.join(""), "IIMAGE:");
    QByteArray buffer = data.toUtf8();

    //udp最大隻能傳送65507位元組的資料=64K 超過的話都會發送失敗
    //所以這裡需要手動分包,外網的話包還要小一點
    if (packageSize == 65500) {
        udpSocket->writeDatagram(buffer, QHostAddress(serverIP), serverPort);
    } else {
        int len = buffer.length();
        int count = len / packageSize + 1;
        for (int i = 0; i < count; i++) {
            QByteArray temp = buffer.mid(i * packageSize, packageSize);
            udpSocket->writeDatagram(temp, QHostAddress(serverIP), serverPort);
        }
    }

    emit sendData(buffer);
}

void UdpImageClient::sendImage(const QString &body)
{
    writeData(QString("<ClientImage>%1</ClientImage>").arg(body));
}

void UdpImageClient::append(const QImage &image)
{
    //這裡需要加鎖,避免正在取出資料
    QMutexLocker locker(&mutexImage);
    //限制佇列中最大訊息數,避免離線的時候瘋狂插入
    if (this->isRunning() && images.count() < 10) {
        images << image;
    }
}

void UdpImageClient::clear()
{
    QMutexLocker locker(&mutexImage);
    images.clear();
}

相關推薦

Qt音視訊開發46-視訊傳輸UDP版

一、前言 上篇文章寫道採用的TCP傳輸視訊，優缺點很明顯，優點就是不丟包，缺點就是速度慢，後面換成UDP通訊，速度快了很多，少了3次握手，而且在區域網中基本上不丟包，就算偶爾丟包，對於一秒鐘25-30張圖片來說，偶

Qt音視訊開發39-人臉識別線上版

一、前言 關於人臉識別這塊，前些年不要太火，哪怕是到了今天依然火的一塌糊塗，什麼玩意都要跟人臉識別搭個邊，這東西應該只是人工智慧的一個很小的部分，人臉識別光從字面上理解就是識別出人臉區域，其實背後真正的

Qt音視訊開發1-vlc解碼播放

一、前言 最開始接觸視訊監控這塊的時候，用的就是vlc作為解碼的核心，主要是因為vlc使用簡單方便，直接傳入一個控制代碼即可，簡單幾行程式碼就可以實現一個視訊流播放，很適合初學者使用，也推薦初學者用qt+vlc來做

Qt音視訊開發3-vlc錄影儲存

一、前言 錄影功能是視訊監控系統的常用功能，就是將開啟的視訊流或者視訊檔案重新儲存成MP4檔案，當然也可以儲存成其他格式，一般預設用MP4比較好，比較標準一些，MP4格式的相容性最好，基本上沒有說那臺電腦不能播

Qt音視訊開發4-vlc讀取和控制

一、前言 vlc本身是個全功能的很牛逼的播放器，你能夠想到的播放的功能他都有，比如獲取視訊檔案的長度、唱片的封面、當前播放進度、設定播放進度、聲音控制、靜音控制等，這些vlc都給你封裝好了，你直接呼叫對應的a

Qt音視訊開發5-vlc事件訂閱

一、前言 事件訂閱可以拿到檔案長度、播放進度、播放狀態改變等資訊，vlc的事件訂閱機制封裝的比較友好，只需要先建立一個事件管理器，然後逐個訂閱自己感興趣的需要的事件，不感興趣的可以不要訂閱，只有訂閱了的事

Qt音視訊開發6-ffmpeg解碼處理

一、前言 採用ffmpeg解碼，是所有視訊監控開發人員必備的技能，繞不過去的一個玩意，甚至可以說是所有音視訊開發人員的必備技能。FFmpeg是一套可以用來記錄、轉換數字音訊、視訊，並能將其轉化為流的開源計算機程式。

Qt音視訊開發7-ffmpeg音訊播放

一、前言 之前用ffmpeg解碼出來了音訊，只是做了儲存部分，比如儲存成aac檔案，播放的話早期用的是sdl來播放音訊，自從Qt5以後提供了QAudioOutput來播放輸入的音訊資料，就更加方便了，可以直接將解碼好的音訊資料寫

Qt音視訊開發11-ffmpeg常用命令

一、前言 大部分的格式轉換工具比如格式化工廠等，都用到了ffmpeg來處理，ffmpeg編譯後生成的ffmpeg.exe、ffplay.exe、ffprobe.exe等可執行檔案，其實就封裝了眾多牛逼的功能，ffprobe檢視媒體檔案頭資訊的工具，ffp

Qt音視訊開發13-mpv錄影儲存

一、前言 用mpv來做錄影儲存，儲存視訊檔案，從來都沒有如此的方便，直接設定屬性stream-record對應的檔案路徑即可，我的乖乖，一行程式碼，如此精簡美麗大方，搞得我都不敢相信自己的眼睛，mpv除了支援主流的win、l

Qt音視訊開發16-mpv通用介面

一、前言 前面幾篇文章，依次講了解碼播放、錄影儲存、讀取和控制、事件訂閱等，其實這些功能的實現都離不開封裝的通用的介面，最開始本人去呼叫一些設定的時候，發現多引數的不好實現，原來需要用mpv_node處理，而Q

Qt音視訊開發20-海康sdk本地播放

一、前言 海康sdk中包含了MP4解碼播放庫，對應的API函式都是PlayM4開頭的，顧名思義播放MP4，海康的視訊預設可以儲存成MP4檔案，可以用通用的播放器來播放，這就是為啥前面好多篇文章講到的各種核心錄影儲存都改成MP

Qt音視訊開發22-通用GPU顯示

一、前言 採用GPU來繪製實時視訊一直以來都是個難點，如果是安防行業的做視訊監控開發這塊的人員，這個坎必須邁過去，本人一直從事的是安防行業的電子圍欄這個相當小眾的細分市場的開發，視訊監控這塊僅僅是周邊技術

Qt音視訊開發27-Onvif裝置搜尋

一、前言 最近業餘時間主要研究音視訊開發這塊，前面的文章寫了好多種視訊監控核心，一旦將這些核心搞定以後，視訊監控的相關功能水到渠成。做視訊監控系統，繞不過onvif這玩意，這玩意主要就是為了統一一個大概的標

Qt音視訊開發29-Onvif雲臺控制

一、前言 雲臺控制也是onvif功能中最常用的，最常用的功能排第一的是拿到視訊流地址，排第二的就是雲臺控制了，雲臺控制的含義就是對帶雲臺的攝像機進行上下左右的移動，一般雲臺攝像機都是帶有一個小電機，一旦收到

Qt音視訊開發34-Onvif時間設定

一、前言 對裝置設定時間很有必要，這個是必備的功能，畢竟大部分的前端裝置比如攝像機本身不帶BIOS電池的，所以沒法儲存時間，要麼設定了NTP地址來同步時間，要麼其他裝置主動對他進行設定時間，如果時間不正確了，

Qt音視訊開發37-USB攝像頭解碼ffmpeg方案

一、前言 用ffmpeg來處理USB攝像頭，是前段時間研究視訊監控ffmpeg核心的時候搞定的，既然ffmpeg這麼牛逼的庫可以解析各種音視訊，我想處理個本地USB攝像頭應該也不是什麼難事，果真搜尋也是一大堆，當然主要也是因為

Qt音視訊開發38-USB攝像頭解碼linux方案

一、前言 做嵌入式linux上的開發很多年了，扳手指頭算算，也起碼9年了，陸陸續續做過很過諸如需要讀取外接的USB攝像頭或者CMOS攝像機的程式，實時採集視訊，將影象傳到前端，或者對影象進行人臉分析處理，最開始嘗試

Qt音視訊開發47-通用視訊控制元件

一、前言 自從視訊監控系統的核心不斷增加，從最初的vlc到ffmpeg然後到mpv，後面還陸續增加了海康sdk等，每次增加一個核心，整個視訊監控系統就有三五個程式碼檔案需要修改，而且大部分是重複的程式碼，通過define來

Qt音視訊開發48-通用通道管理

一、前言 把通用的視訊控制元件搞定以後，後期增加新的核心方便多了，不需要在好多個檔案複製貼上之類的，接下來就是需要一個統一的類來管理視訊監控系統中的16個通道或者32個通道，甚至64個通道也有可能，當然，通用