2. 程式人生 > 實用技巧 >Qt音視訊開發39-人臉識別線上版

Qt音視訊開發39-人臉識別線上版

阿新 • • 發佈：2020-10-26

一、前言

關於人臉識別這塊，前些年不要太火，哪怕是到了今天依然火的一塌糊塗，什麼玩意都要跟人臉識別搭個邊，這東西應該只是人工智慧的一個很小的部分，人臉識別光從字面上理解就是識別出人臉區域，其實背後真正的處理是拿到人臉區域圖片，提取人臉特徵值，再用這些特徵值去做比對分析處理，識別出到底是誰，國內廠家也不少，比拼的就是準確度誤報率，速度無非就是靠堆硬體來，什麼VPU各種並行運算都堆上去，速度槓槓的，好多廠家都做到了幾個毫秒的級別，估計很多廠家都是在開源的基礎上加上了自家的演算法，一直跑呀跑的整出了符合自家演算法的人臉模型檔案，比如百度的人臉識別模型檔案，經過好幾年的發展，越來越大越來越細越來越準。

聽某個大神說過，很多時候人工智慧其實並不是完全的智慧，絕大部分都停留在半智慧階段，而且這種半智慧階段還需要藉助很多輔助的硬體甚至人為的判斷，很多模型庫檔案的生成就是靠一小小姑娘在那邊流水線上類似的不停的點呀點，號稱深度學習演算法，就是讓他識別更多的資料，使得更準確。關於人臉識別或者人工智慧，外行一般覺得很科幻，內行一般覺得很絕望，業界領袖和領袖各種打雞血。

國內的廠家大部分都提供了官網對應的api來進行處理，註冊個賬號，搞個key，直接就可以擼起來，關於這塊技術上沒有任何難點，初學者都可以搞定，無非就是先post資料，拿到返回的資料進行解析，要搞清楚的就是如何填充要post的資料，比如帶上key，組織其他資料比如圖片是base64字串上傳還是二進位制檔案上傳等，返回的資料都是json啦，直接用現成的json庫進行解析就ok。

百度人臉識別線上版和離線版SDK的封裝：

  1. 離線版要求支援C++11的編譯器，而且必須為MSVC。不支援mingw編譯器。
  2. 線上版中的金鑰等資訊，務必記得換成自己申請的。
  3. 離線版本只能在windows上使用。
  4. 離線版本需要自己申請金鑰。找到facebaidusdk資料夾下的LicenseTool.exe,填寫後臺離線SDK管理中申請到的序列號，單擊啟用按鈕。
  5. 離線版本對應的動態庫和模型檔案自行從官網下載。
  6. 如果原始碼包中有facebaidusdk+face-resource資料夾則說明帶了動態庫和模型庫資料夾，只需要將facebaidusdk資料夾下的所有檔案複製到可執行檔案同一目錄，face-resource資料夾複製到可執行資料夾目錄同等級目錄即可。目錄位置見snap資料夾下的示例圖。
  7. facebaidusdk目錄下的TestFaceApi.exe為百度提供的測試程式，先要將USB攝像頭插到電腦上，會實時找人臉框。

二、功能特點

  1. 支援的功能包括人臉識別、人臉比對、人臉搜尋、活體檢測等。
  2. 線上版還支援身份證、駕駛證、行駛證、銀行卡等識別。
  3. 線上版的協議支援百度、曠視，離線版的支援百度，可定製。
  4. 除了支援X86架構，還支援嵌入式linux比如contex-A9、樹莓派等。
  5. 每個功能的執行除了返回結果還返回執行用時時間。
  6. 多執行緒處理，通過type控制當前處理型別。
  7. 支援單張圖片檢索相似度最高的圖片。
  8. 支援指定目錄圖片用來生成人臉特徵值檔案。
  9. 可設定等待處理圖片佇列中的數量。
  10. 每次執行都有成功或者失敗的訊號返回。
  11. 人臉搜尋的返回結果包含了原圖+最大相似度圖+相似度等。
  12. 人臉比對同時支援兩張圖片和兩個特徵值比對。
  13. 相關功能自定義一套協議用於客戶端和服務端，可以通過TCP通訊進行互動。
  14. 自定義人臉識別協議非常適用於中心一臺伺服器，現場若干裝置請求的場景。
  15. 每個模組全部是獨立的一個類，程式碼整潔、註釋完善。

三、效果圖

四、相關站點

  1. 國內站點：https://gitee.com/feiyangqingyun/QWidgetDemo
  2. 國際站點：https://github.com/feiyangqingyun/QWidgetDemo
  3. 個人主頁：https://blog.csdn.net/feiyangqingyun
  4. 知乎主頁：https://www.zhihu.com/people/feiyangqingyun/
  5. 體驗地址：https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心程式碼

void FaceWebBaiDu::finished(QNetworkReply *reply)
{
    QString error = reply->errorString();
    if (!error.isEmpty() && error != "Unknown error") {
        emit receiveError(error);
    }

    if (reply->bytesAvailable() > 0 && reply->error() == QNetworkReply::NoError) {
        QString data = reply->readAll();
        reply->deleteLater();

        //傳送接收資料訊號
        emit receiveData(data);

        //初始化指令碼引擎
        QScriptEngine engine;
        //構建解析物件
        QScriptValue script = engine.evaluate("value=" + data);

        //獲取鑑權識別符號
        QString token = script.property("access_token").toString();
        if (!token.isEmpty()) {
            this->token = token;
            emit receiveResult(0, "鑑權標識返回成功");
            return;
        }

        //通用返回結果欄位
        int code = script.property("error_code").toInt32();
        QString msg = script.property("error_msg").toString();
        emit receiveResult(code, msg);

        //圖片識別部分
        QScriptValue result = script.property("result");
        if (!result.isNull()) {
            //人臉識別
            if (data.contains("location")) {
                QScriptValue face_list = result.property("face_list");
                checkFaceList(face_list);
            }

            //人臉比對
            if (data.contains("score") && !data.contains("location")) {
                QScriptValue score = result.property("score");
                float result = score.toString().toFloat();
                if (result > 0) {
                    emit receiveFaceCompare(QRect(), QRect(), result);
                } else {
                    emit receiveFaceCompareFail();
                }
            }

            //活體檢測
            if (data.contains("face_liveness")) {
                QScriptValue face_liveness = result.property("face_liveness");
                float result = face_liveness.toString().toFloat();
                if (result >= 0) {
                    emit receiveLive(result);
                }
            }           
        }        
    }
}

void FaceWebBaiDu::checkFaceList(const QScriptValue &scriptValue)
{
    //建立迭代器逐個解析具體值
    QScriptValueIterator it(scriptValue);
    while (it.hasNext()) {
        it.next();
        if (it.flags() & QScriptValue::SkipInEnumeration) {
            continue;
        }

        QRect rect;
        QString face_token = it.value().property("face_token").toString();
        if (!face_token.isEmpty()) {
            QScriptValue value = it.value().property("location");
            rect = FaceHelper::getRect(value);
        }

        if (rect.width() > 0) {
            emit receiveFaceRect(rect);
            break;
        }
    }
}

void FaceWebBaiDu::getToken()
{
    //具體參見 http://ai.baidu.com/ai-doc/REFERENCE/Ck3dwjhhu
    QStringList list;
    list.append(QString("grant_type=%1").arg("client_credentials"));
    list.append(QString("client_id=%1").arg(key));
    list.append(QString("client_secret=%1").arg(secret));
    QString data = list.join("&");

    QString url = "https://aip.baidubce.com/oauth/2.0/token";
    FaceHelper::sendData(manager, url, data);
}

void FaceWebBaiDu::detect(const QImage &img)
{
    QString imgData = FaceHelper::getImageData2(img);

    QStringList list;
    list.append(QString("{\"image\":\"%1\",\"image_type\":\"BASE64\"}").arg(imgData));
    QString data = list.join("");

    QString url = QString("https://aip.baidubce.com/rest/2.0/face/v3/detect?access_token=%1").arg(token);
    FaceHelper::sendData(manager, url, data);
}

void FaceWebBaiDu::compare(const QImage &img1, const QImage &img2)
{
    QString imgData1 = FaceHelper::getImageData2(img1);
    QString imgData2 = FaceHelper::getImageData2(img2);

    //如果需要活體檢測則NONE改為LOW NORMAL HIGH
    QStringList list;
    list.append("[");
    list.append(QString("{\"image\":\"%1\",\"image_type\":\"BASE64\",\"liveness_control\":\"NONE\"}").arg(imgData1));
    list.append(",");
    list.append(QString("{\"image\":\"%1\",\"image_type\":\"BASE64\",\"liveness_control\":\"NONE\"}").arg(imgData2));
    list.append("]");
    QString data = list.join("");

    QString url = QString("https://aip.baidubce.com/rest/2.0/face/v3/match?access_token=%1").arg(token);
    FaceHelper::sendData(manager, url, data);
}

void FaceWebBaiDu::live(const QImage &img)
{
    QList<QImage> imgs;
    if (!img.isNull()) {
        imgs << img;
    }

    live(imgs);
}

void FaceWebBaiDu::live(const QList<QImage> &imgs)
{
    //記住最後一次處理的時間,限制頻繁的呼叫
    QDateTime now = QDateTime::currentDateTime();
    if (lastTime.msecsTo(now) < 500) {
        return;
    }

    lastTime = now;
    QStringList list;
    list.append("[");

    int count = imgs.count();
    for (int i = 0; i < count; i++) {
        QString imgData = FaceHelper::getImageData2(imgs.at(i));
        list.append(QString("{\"image\":\"%1\",\"image_type\":\"BASE64\"}").arg(imgData));
        if (i < count - 1) {
            list.append(",");
        }
    }

    list.append("]");
    QString data = list.join("");

    QString url = QString("https://aip.baidubce.com/rest/2.0/face/v3/faceverify?access_token=%1").arg(token);
    FaceHelper::sendData(manager, url, data);
}

相關推薦

Qt音視訊開發39-人臉識別線上版

一、前言 關於人臉識別這塊，前些年不要太火，哪怕是到了今天依然火的一塌糊塗，什麼玩意都要跟人臉識別搭個邊，這東西應該只是人工智慧的一個很小的部分，人臉識別光從字面上理解就是識別出人臉區域，其實背後真正的

Qt音視訊開發1-vlc解碼播放

一、前言 最開始接觸視訊監控這塊的時候，用的就是vlc作為解碼的核心，主要是因為vlc使用簡單方便，直接傳入一個控制代碼即可，簡單幾行程式碼就可以實現一個視訊流播放，很適合初學者使用，也推薦初學者用qt+vlc來做

Qt音視訊開發3-vlc錄影儲存

一、前言 錄影功能是視訊監控系統的常用功能，就是將開啟的視訊流或者視訊檔案重新儲存成MP4檔案，當然也可以儲存成其他格式，一般預設用MP4比較好，比較標準一些，MP4格式的相容性最好，基本上沒有說那臺電腦不能播

Qt音視訊開發4-vlc讀取和控制

一、前言 vlc本身是個全功能的很牛逼的播放器，你能夠想到的播放的功能他都有，比如獲取視訊檔案的長度、唱片的封面、當前播放進度、設定播放進度、聲音控制、靜音控制等，這些vlc都給你封裝好了，你直接呼叫對應的a

Qt音視訊開發5-vlc事件訂閱

一、前言 事件訂閱可以拿到檔案長度、播放進度、播放狀態改變等資訊，vlc的事件訂閱機制封裝的比較友好，只需要先建立一個事件管理器，然後逐個訂閱自己感興趣的需要的事件，不感興趣的可以不要訂閱，只有訂閱了的事

Qt音視訊開發6-ffmpeg解碼處理

一、前言 採用ffmpeg解碼，是所有視訊監控開發人員必備的技能，繞不過去的一個玩意，甚至可以說是所有音視訊開發人員的必備技能。FFmpeg是一套可以用來記錄、轉換數字音訊、視訊，並能將其轉化為流的開源計算機程式。

Qt音視訊開發7-ffmpeg音訊播放

一、前言 之前用ffmpeg解碼出來了音訊，只是做了儲存部分，比如儲存成aac檔案，播放的話早期用的是sdl來播放音訊，自從Qt5以後提供了QAudioOutput來播放輸入的音訊資料，就更加方便了，可以直接將解碼好的音訊資料寫

Qt音視訊開發11-ffmpeg常用命令

一、前言 大部分的格式轉換工具比如格式化工廠等，都用到了ffmpeg來處理，ffmpeg編譯後生成的ffmpeg.exe、ffplay.exe、ffprobe.exe等可執行檔案，其實就封裝了眾多牛逼的功能，ffprobe檢視媒體檔案頭資訊的工具，ffp

Qt音視訊開發13-mpv錄影儲存

一、前言 用mpv來做錄影儲存，儲存視訊檔案，從來都沒有如此的方便，直接設定屬性stream-record對應的檔案路徑即可，我的乖乖，一行程式碼，如此精簡美麗大方，搞得我都不敢相信自己的眼睛，mpv除了支援主流的win、l

Qt音視訊開發16-mpv通用介面

一、前言 前面幾篇文章，依次講了解碼播放、錄影儲存、讀取和控制、事件訂閱等，其實這些功能的實現都離不開封裝的通用的介面，最開始本人去呼叫一些設定的時候，發現多引數的不好實現，原來需要用mpv_node處理，而Q

Qt音視訊開發20-海康sdk本地播放

一、前言 海康sdk中包含了MP4解碼播放庫，對應的API函式都是PlayM4開頭的，顧名思義播放MP4，海康的視訊預設可以儲存成MP4檔案，可以用通用的播放器來播放，這就是為啥前面好多篇文章講到的各種核心錄影儲存都改成MP

Qt音視訊開發22-通用GPU顯示

一、前言 採用GPU來繪製實時視訊一直以來都是個難點，如果是安防行業的做視訊監控開發這塊的人員，這個坎必須邁過去，本人一直從事的是安防行業的電子圍欄這個相當小眾的細分市場的開發，視訊監控這塊僅僅是周邊技術

Qt音視訊開發27-Onvif裝置搜尋

一、前言 最近業餘時間主要研究音視訊開發這塊，前面的文章寫了好多種視訊監控核心，一旦將這些核心搞定以後，視訊監控的相關功能水到渠成。做視訊監控系統，繞不過onvif這玩意，這玩意主要就是為了統一一個大概的標

Qt音視訊開發29-Onvif雲臺控制

一、前言 雲臺控制也是onvif功能中最常用的，最常用的功能排第一的是拿到視訊流地址，排第二的就是雲臺控制了，雲臺控制的含義就是對帶雲臺的攝像機進行上下左右的移動，一般雲臺攝像機都是帶有一個小電機，一旦收到

Qt音視訊開發34-Onvif時間設定

一、前言 對裝置設定時間很有必要，這個是必備的功能，畢竟大部分的前端裝置比如攝像機本身不帶BIOS電池的，所以沒法儲存時間，要麼設定了NTP地址來同步時間，要麼其他裝置主動對他進行設定時間，如果時間不正確了，

Qt音視訊開發37-USB攝像頭解碼ffmpeg方案

一、前言 用ffmpeg來處理USB攝像頭，是前段時間研究視訊監控ffmpeg核心的時候搞定的，既然ffmpeg這麼牛逼的庫可以解析各種音視訊，我想處理個本地USB攝像頭應該也不是什麼難事，果真搜尋也是一大堆，當然主要也是因為

Qt音視訊開發38-USB攝像頭解碼linux方案

一、前言 做嵌入式linux上的開發很多年了，扳手指頭算算，也起碼9年了，陸陸續續做過很過諸如需要讀取外接的USB攝像頭或者CMOS攝像機的程式，實時採集視訊，將影象傳到前端，或者對影象進行人臉分析處理，最開始嘗試

Qt音視訊開發46-視訊傳輸UDP版

一、前言 上篇文章寫道採用的TCP傳輸視訊，優缺點很明顯，優點就是不丟包，缺點就是速度慢，後面換成UDP通訊，速度快了很多，少了3次握手，而且在區域網中基本上不丟包，就算偶爾丟包，對於一秒鐘25-30張圖片來說，偶

Qt音視訊開發47-通用視訊控制元件

一、前言 自從視訊監控系統的核心不斷增加，從最初的vlc到ffmpeg然後到mpv，後面還陸續增加了海康sdk等，每次增加一個核心，整個視訊監控系統就有三五個程式碼檔案需要修改，而且大部分是重複的程式碼，通過define來

Qt音視訊開發48-通用通道管理

一、前言 把通用的視訊控制元件搞定以後，後期增加新的核心方便多了，不需要在好多個檔案複製貼上之類的，接下來就是需要一個統一的類來管理視訊監控系統中的16個通道或者32個通道，甚至64個通道也有可能，當然，通用