2. 程式人生 > 實用技巧 >Qt音視訊開發38-USB攝像頭解碼linux方案

Qt音視訊開發38-USB攝像頭解碼linux方案

阿新 • • 發佈：2020-10-21

一、前言

做嵌入式linux上的開發很多年了，扳手指頭算算，也起碼9年了，陸陸續續做過很過諸如需要讀取外接的USB攝像頭或者CMOS攝像機的程式，實時採集視訊，將影象傳到前端，或者對影象進行人臉分析處理，最開始嘗試的就是QCamera來處理，直接歇菜放棄，後面通過搜尋發現都說要用v4l2視訊框架來進行，於是東搞搞西搞搞嘗試了很多次，終於整出來了，前後完善了好幾年，無論寫什麼程式，發現要簡簡單單的實現基礎的功能，都是非常快速而且容易的，但是想要做得好做得精，要花不少的精力時間去完善，適應各種不同的場景，比如就說用v4l2載入攝像頭這個，需要指定裝置檔案來讀取，而現場不可能讓使用者來給你指定，頻繁的拔插也會導致裝置檔名的改動，所以必須找到一個機制自動尋找你想要的攝像機的裝置檔名稱，比如開個定時器去呼叫linux命令來處理，甚至在不同的系統平臺上要執行的命令還有些許的區別，如果本地有多個攝像頭還需要區分左右之類的時候，那就只能通過斷電先後上電順序次序來區分了。

linux方案處理流程：

  1. 呼叫封裝的函式findCamera實時查詢攝像頭裝置檔名。
  2. 呼叫::open函式開啟裝置檔案。
  3. 呼叫封裝的函式initCamera初始化攝像頭引數（圖片格式、解析度等）。
  4. 呼叫::select函式從緩衝區取出一個緩衝幀。
  5. 緩衝幀資料是yuyv格式的，需要轉換rgb24再轉成QImage。
  6. 拿到圖片進行繪製、人臉分析等。
  7. 關閉裝置檔案。

二、功能特點

  1. 同時支援windows、linux、嵌入式linux上的USB攝像頭實時採集。
  2. 支援多路USB攝像頭多執行緒實時採集。
  3. 在嵌入式linux裝置上，自動查詢USB裝置檔案並載入。
  4. 可手動設定裝置檔名稱，手動設定後按照手動設定的裝置檔案載入。
  5. 在嵌入式linux裝置上支援人臉識別介面，實時繪製人臉框。
  6. 具有開啟、暫停、繼續、關閉、截圖等常規功能。
  7. 可設定兩路OSD標籤，分別設定文字、顏色、字號、位置等。
  8. 可作為視訊監控系統使用。

三、效果圖

四、相關站點

  1. 國內站點：https://gitee.com/feiyangqingyun/QWidgetDemo
  2. 國際站點：https://github.com/feiyangqingyun/QWidgetDemo
  3. 個人主頁：https://blog.csdn.net/feiyangqingyun
  4. 知乎主頁：https://www.zhihu.com/people/feiyangqingyun/
  5. 體驗地址：https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心程式碼

void CameraLinux::run()
{
    while (!stopped) {
        if (!cameraOk) {
            msleep(10);
            continue;
        }

        if (isPause) {
            //這裡需要假設正常,暫停期間繼續更新時間
            lastTime = QDateTime::currentDateTime();
            msleep(10);
            continue;
        }

        QImage image = readImage();
        if (!image.isNull()) {
            if (isSnap) {
                emit snapImage(image);
                isSnap = false;
            }

            if (findFaceOne) {
                findFace(image);
            }

            if (findFaceRect) {
                image = drawFace(image);
            }

            lastTime = QDateTime::currentDateTime();
            emit receiveImage(image);
        }

        msleep(interval);
    }

    this->closeCamera();
    this->initData();
}

QDateTime CameraLinux::getLastTime() const
{
    return this->lastTime;
}

QString CameraLinux::getCameraName() const
{
    return this->cameraName;
}

int CameraLinux::getCameraWidth() const
{
    return this->cameraWidth;
}

int CameraLinux::getCameraHeight() const
{
    return this->cameraHeight;
}

void CameraLinux::sleep(int msec)
{
    if (msec > 0) {
        QTime endTime = QTime::currentTime().addMSecs(msec);
        while (QTime::currentTime() < endTime) {
            QCoreApplication::processEvents(QEventLoop::AllEvents, 100);
        }
    }
}

void CameraLinux::initData()
{
    stopped = false;
    isPause = false;
    isSnap = false;
    cameraOk = false;
    cameraHwnd = -1;
    errorCount = 0;
}

void CameraLinux::readData()
{
    QStringList cameraNames;
    while (!process->atEnd()) {
        //逐行讀取返回的結果 過濾video開頭的是攝像頭裝置檔案
        QString line = process->readLine();
        if (line.startsWith("video")) {
            line = line.replace("\n", "");
            cameraNames << QString("/dev/%1").arg(line);
        }
    }

    if (cameraNames.count() > 0) {
        cameraName = cameraNames.first();
        emit receiveCamera(cameraNames);
        qDebug() << TIMEMS << cameraNames;
    }
}

bool CameraLinux::initCamera()
{
    //如果沒有指定裝置檔名稱(預設auto)則查詢
    if (cameraName == "auto") {
        findCamera();
    }

    //延時判斷是否獲取到了裝置檔案
    sleep(300);
    return openCamera();
}

void CameraLinux::findCamera()
{
    if (process->state() == QProcess::NotRunning) {
        process->start("ls /dev/");
    }
}

bool CameraLinux::openCamera()
{
#ifdef Q_OS_LINUX
    if (cameraName.length() > 5) {
        cameraHwnd = ::open(cameraName.toUtf8().data(), O_RDWR | O_NONBLOCK, 0);
    }

    if (cameraHwnd < 0) {
        qDebug() << TIMEMS << "open camera error";
        return false;
    }

    //查詢裝置屬性
    struct v4l2_capability capability;
    if (::ioctl(cameraHwnd, VIDIOC_QUERYCAP, &capability) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_QUERYCAP";
        ::close(cameraHwnd);
        return false;
    }

    if (!(capability.capabilities & V4L2_CAP_VIDEO_CAPTURE)) {
        qDebug() << TIMEMS << "it is not a video capture device";
        ::close(cameraHwnd);
        return false;
    }

    if (!(capability.capabilities & V4L2_CAP_STREAMING)) {
        qDebug() << TIMEMS << "it can not streaming";
        ::close(cameraHwnd);
        return false;
    }

    if (capability.capabilities == 0x4000001) {
        qDebug() << TIMEMS << "capabilities" << "V4L2_CAP_VIDEO_CAPTURE | V4L2_CAP_STREAMING";
    }

    //設定視訊輸入源
    int input = 0;
    if (::ioctl(cameraHwnd, VIDIOC_S_INPUT, &input) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_S_INPUT";
        ::close(cameraHwnd);
        return false;
    }

    //設定圖片格式和解析度
    struct v4l2_format format;
    format.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    //多種格式 V4L2_PIX_FMT_YUV420  V4L2_PIX_FMT_YUYV(422) V4L2_PIX_FMT_RGB565
    format.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;
    //部分硬體花屏要設定成 V4L2_FIELD_NONE
    format.fmt.pix.field = V4L2_FIELD_INTERLACED;
    format.fmt.pix.width = cameraWidth;
    format.fmt.pix.height = cameraHeight;

    int bpp = 16;
    //format.fmt.pix.bytesperline = width * bpp / 8;
    //format.fmt.pix.sizeimage = cameraWidth * cameraHeight * bpp / 8;

    if (::ioctl(cameraHwnd, VIDIOC_S_FMT, &format) < 0) {
        ::close(cameraHwnd);
        return false;
    }

    //檢視圖片格式和解析度,判斷是否設定成功
    if (::ioctl(cameraHwnd, VIDIOC_G_FMT, &format) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_G_FMT";
        ::close(cameraHwnd);
        return false;
    }

    //重新列印下寬高看下是否真正設定成功
    struct v4l2_pix_format pix = format.fmt.pix;
    quint32 pixelformat = pix.pixelformat;
    qDebug() << TIMEMS << "cameraWidth" << cameraWidth << "cameraHeight" << cameraHeight << "width" << pix.width << "height" << pix.height;
    qDebug() << TIMEMS << "pixelformat" << QString("%1%2%3%4").arg(QChar(pixelformat & 0xFF)).arg(QChar((pixelformat >> 8) & 0xFF)).arg(QChar((pixelformat >> 16) & 0xFF)).arg(QChar((pixelformat >> 24) & 0xFF));

    //重新設定寬高為真實的寬高
    cameraWidth = pix.width;
    cameraHeight = pix.height;

    //設定幀格式
    struct v4l2_streamparm streamparm;
    streamparm.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    streamparm.parm.capture.timeperframe.numerator = 1;
    streamparm.parm.capture.timeperframe.denominator = 25;
    streamparm.parm.capture.capturemode = 0;

    if (::ioctl(cameraHwnd, VIDIOC_S_PARM, &streamparm) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_S_PARM";
        ::close(cameraHwnd);
        return false;
    }

    if (::ioctl(cameraHwnd, VIDIOC_G_PARM, &streamparm) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_G_PARM";
        ::close(cameraHwnd);
        return false;
    }

    //申請和管理緩衝區
    struct v4l2_requestbuffers requestbuffers;
    requestbuffers.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    requestbuffers.memory = V4L2_MEMORY_MMAP;
    requestbuffers.count = 1;

    if (::ioctl(cameraHwnd, VIDIOC_REQBUFS, &requestbuffers) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_REQBUFS";
        ::close(cameraHwnd);
        return false;
    }

    buff_yuv422 = (uchar *)malloc(cameraWidth * cameraHeight * bpp / 8);
    buff_yuv420 = (uchar *)malloc(cameraWidth * cameraHeight * bpp / 8);
    buff_rgb24 = (uchar *)malloc(cameraWidth * cameraHeight * 24 / 8);

    buff_img = (ImgBuffer *)calloc(1, sizeof(ImgBuffer));
    if (buff_img == NULL) {
        qDebug() << TIMEMS << "error in calloc";
        ::close(cameraHwnd);
        return false;
    }

    struct v4l2_buffer buffer;
    for (int index = 0; index < 1; index++) {
        buffer.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
        buffer.memory = V4L2_MEMORY_MMAP;
        buffer.index = index;

        if (::ioctl(cameraHwnd, VIDIOC_QUERYBUF, &buffer) < 0) {
            qDebug() << TIMEMS << "error in VIDIOC_QUERYBUF";
            ::free(buff_img);
            ::close(cameraHwnd);
            return false;
        }

        buff_img[index].length = buffer.length;
        buff_img[index].start = (quint8 *)mmap(NULL, buffer.length, PROT_READ | PROT_WRITE, MAP_SHARED, cameraHwnd, buffer.m.offset);
        if (MAP_FAILED == buff_img[index].start) {
            qDebug() << TIMEMS << "error in mmap";
            ::free(buff_img);
            ::close(cameraHwnd);
            return false;
        }

        //把緩衝幀放入佇列
        if (::ioctl(cameraHwnd, VIDIOC_QBUF, &buffer) < 0) {
            qDebug() << TIMEMS << "error in VIDIOC_QBUF";
            for (int i = 0; i <= index; i++) {
                munmap(buff_img[i].start, buff_img[i].length);
            }

            ::free(buff_img);
            ::close(cameraHwnd);
            return false;
        }
    }

    enum v4l2_buf_type type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    if (::ioctl(cameraHwnd, VIDIOC_STREAMON, &type) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_STREAMON";
        for (int i = 0; i < 1; i++) {
            munmap(buff_img[i].start, buff_img[i].length);
        }

        ::free(buff_img);
        ::close(cameraHwnd);
        return false;
    }

    cameraOk = true;
#endif
    qDebug() << TIMEMS << "open camera ok";
    return cameraOk;
}

void CameraLinux::closeCamera()
{
#ifdef Q_OS_LINUX
    if (cameraOk && buff_img != NULL) {
        //停止攝像頭採集
        enum v4l2_buf_type type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
        if (::ioctl(cameraHwnd, VIDIOC_STREAMOFF, &type) < 0) {
            qDebug() << TIMEMS << "error in VIDIOC_STREAMOFF";
        }

        //解除記憶體對映
        for (int i = 0; i < 1; i++) {
            munmap((buff_img)[i].start, (buff_img)[i].length);
        }

        //關閉裝置檔案
        ::close(cameraHwnd);
        qDebug() << TIMEMS << "close camera ok";
    }

    //釋放資源
    ::free(buff_img);
    buff_img = NULL;
    ::free(buff_yuv422);
    buff_yuv422 = NULL;
    ::free(buff_yuv420);
    buff_yuv420 = NULL;
    ::free(buff_rgb24);
    buff_rgb24 = NULL;

    cameraOk = false;
    cameraHwnd = -1;
#endif
}

int CameraLinux::readFrame()
{
    int index = -1;
#ifdef Q_OS_LINUX
    //等待攝像頭採集到一楨資料
    for (;;) {
        fd_set fds;
        struct timeval tv;
        FD_ZERO(&fds);
        FD_SET(cameraHwnd, &fds);
        tv.tv_sec = 2;
        tv.tv_usec = 0;

        int r = ::select(cameraHwnd + 1, &fds, NULL, NULL, &tv);
        if (-1 == r) {
            if (EINTR == errno) {
                continue;
            }
            return -1;
        } else if (0 == r) {
            return -1;
        } else {
            //採集到一張圖片 跳出迴圈
            break;
        }
    }

    //從緩衝區取出一個緩衝幀
    struct v4l2_buffer buffer;
    buffer.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buffer.memory = V4L2_MEMORY_MMAP;
    if (::ioctl(cameraHwnd, VIDIOC_DQBUF, &buffer) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_DQBUF";
        return -1;
    }

    memcpy(buff_yuv422, (uchar *)buff_img[buffer.index].start, buff_img[buffer.index].length);

    //將取出的緩衝幀放回緩衝區
    if (::ioctl(cameraHwnd, VIDIOC_QBUF, &buffer) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_QBUF";
        return -1;
    }

    index = buffer.index;
#endif
    return index;
}

相關推薦

Qt音視訊開發38-USB攝像頭解碼linux方案

一、前言 做嵌入式linux上的開發很多年了，扳手指頭算算，也起碼9年了，陸陸續續做過很過諸如需要讀取外接的USB攝像頭或者CMOS攝像機的程式，實時採集視訊，將影象傳到前端，或者對影象進行人臉分析處理，最開始嘗試

Qt音視訊開發37-USB攝像頭解碼ffmpeg方案

一、前言 用ffmpeg來處理USB攝像頭，是前段時間研究視訊監控ffmpeg核心的時候搞定的，既然ffmpeg這麼牛逼的庫可以解析各種音視訊，我想處理個本地USB攝像頭應該也不是什麼難事，果真搜尋也是一大堆，當然主要也是因為

Qt音視訊開發1-vlc解碼播放

一、前言 最開始接觸視訊監控這塊的時候，用的就是vlc作為解碼的核心，主要是因為vlc使用簡單方便，直接傳入一個控制代碼即可，簡單幾行程式碼就可以實現一個視訊流播放，很適合初學者使用，也推薦初學者用qt+vlc來做

Qt音視訊開發6-ffmpeg解碼處理

一、前言 採用ffmpeg解碼，是所有視訊監控開發人員必備的技能，繞不過去的一個玩意，甚至可以說是所有音視訊開發人員的必備技能。FFmpeg是一套可以用來記錄、轉換數字音訊、視訊，並能將其轉化為流的開源計算機程式。

Qt音視訊開發3-vlc錄影儲存

一、前言 錄影功能是視訊監控系統的常用功能，就是將開啟的視訊流或者視訊檔案重新儲存成MP4檔案，當然也可以儲存成其他格式，一般預設用MP4比較好，比較標準一些，MP4格式的相容性最好，基本上沒有說那臺電腦不能播

Qt音視訊開發4-vlc讀取和控制

一、前言 vlc本身是個全功能的很牛逼的播放器，你能夠想到的播放的功能他都有，比如獲取視訊檔案的長度、唱片的封面、當前播放進度、設定播放進度、聲音控制、靜音控制等，這些vlc都給你封裝好了，你直接呼叫對應的a

Qt音視訊開發5-vlc事件訂閱

一、前言 事件訂閱可以拿到檔案長度、播放進度、播放狀態改變等資訊，vlc的事件訂閱機制封裝的比較友好，只需要先建立一個事件管理器，然後逐個訂閱自己感興趣的需要的事件，不感興趣的可以不要訂閱，只有訂閱了的事

Qt音視訊開發7-ffmpeg音訊播放

一、前言 之前用ffmpeg解碼出來了音訊，只是做了儲存部分，比如儲存成aac檔案，播放的話早期用的是sdl來播放音訊，自從Qt5以後提供了QAudioOutput來播放輸入的音訊資料，就更加方便了，可以直接將解碼好的音訊資料寫

Qt音視訊開發11-ffmpeg常用命令

一、前言 大部分的格式轉換工具比如格式化工廠等，都用到了ffmpeg來處理，ffmpeg編譯後生成的ffmpeg.exe、ffplay.exe、ffprobe.exe等可執行檔案，其實就封裝了眾多牛逼的功能，ffprobe檢視媒體檔案頭資訊的工具，ffp

Qt音視訊開發13-mpv錄影儲存

一、前言 用mpv來做錄影儲存，儲存視訊檔案，從來都沒有如此的方便，直接設定屬性stream-record對應的檔案路徑即可，我的乖乖，一行程式碼，如此精簡美麗大方，搞得我都不敢相信自己的眼睛，mpv除了支援主流的win、l

Qt音視訊開發16-mpv通用介面

一、前言 前面幾篇文章，依次講了解碼播放、錄影儲存、讀取和控制、事件訂閱等，其實這些功能的實現都離不開封裝的通用的介面，最開始本人去呼叫一些設定的時候，發現多引數的不好實現，原來需要用mpv_node處理，而Q

Qt音視訊開發20-海康sdk本地播放

一、前言 海康sdk中包含了MP4解碼播放庫，對應的API函式都是PlayM4開頭的，顧名思義播放MP4，海康的視訊預設可以儲存成MP4檔案，可以用通用的播放器來播放，這就是為啥前面好多篇文章講到的各種核心錄影儲存都改成MP

Qt音視訊開發22-通用GPU顯示

一、前言 採用GPU來繪製實時視訊一直以來都是個難點，如果是安防行業的做視訊監控開發這塊的人員，這個坎必須邁過去，本人一直從事的是安防行業的電子圍欄這個相當小眾的細分市場的開發，視訊監控這塊僅僅是周邊技術

Qt音視訊開發27-Onvif裝置搜尋

一、前言 最近業餘時間主要研究音視訊開發這塊，前面的文章寫了好多種視訊監控核心，一旦將這些核心搞定以後，視訊監控的相關功能水到渠成。做視訊監控系統，繞不過onvif這玩意，這玩意主要就是為了統一一個大概的標

Qt音視訊開發29-Onvif雲臺控制

一、前言 雲臺控制也是onvif功能中最常用的，最常用的功能排第一的是拿到視訊流地址，排第二的就是雲臺控制了，雲臺控制的含義就是對帶雲臺的攝像機進行上下左右的移動，一般雲臺攝像機都是帶有一個小電機，一旦收到

Qt音視訊開發34-Onvif時間設定

一、前言 對裝置設定時間很有必要，這個是必備的功能，畢竟大部分的前端裝置比如攝像機本身不帶BIOS電池的，所以沒法儲存時間，要麼設定了NTP地址來同步時間，要麼其他裝置主動對他進行設定時間，如果時間不正確了，

Qt音視訊開發39-人臉識別線上版

一、前言 關於人臉識別這塊，前些年不要太火，哪怕是到了今天依然火的一塌糊塗，什麼玩意都要跟人臉識別搭個邊，這東西應該只是人工智慧的一個很小的部分，人臉識別光從字面上理解就是識別出人臉區域，其實背後真正的

Qt音視訊開發46-視訊傳輸UDP版

一、前言 上篇文章寫道採用的TCP傳輸視訊，優缺點很明顯，優點就是不丟包，缺點就是速度慢，後面換成UDP通訊，速度快了很多，少了3次握手，而且在區域網中基本上不丟包，就算偶爾丟包，對於一秒鐘25-30張圖片來說，偶

Qt音視訊開發47-通用視訊控制元件

一、前言 自從視訊監控系統的核心不斷增加，從最初的vlc到ffmpeg然後到mpv，後面還陸續增加了海康sdk等，每次增加一個核心，整個視訊監控系統就有三五個程式碼檔案需要修改，而且大部分是重複的程式碼，通過define來

Qt音視訊開發48-通用通道管理

一、前言 把通用的視訊控制元件搞定以後，後期增加新的核心方便多了，不需要在好多個檔案複製貼上之類的，接下來就是需要一個統一的類來管理視訊監控系統中的16個通道或者32個通道，甚至64個通道也有可能，當然，通用