2. 程式人生 > >OpenCV目標跟蹤-LK光流法

OpenCV目標跟蹤-LK光流法

阿新 • • 發佈：2019-02-06

這幾天主要看了光流的有關內容，下面就關於光流的有關內容進行個簡單的總結。 
所謂的光流是一種運動模式，這種運動模式即是指一個物體、表面、邊緣在一個視角下由一個觀察者和背景之間形成的明顯移動。在如下的圖中給出了光流的直觀解釋。 
這裡寫圖片描述

這裡的每個畫素都與速度相關聯，這樣得到的即是稠密光流，在光流中主要分為稠密光流和稀疏光流，相對於稠密光流，稀疏光流的計算則需要在跟蹤之前指定一組點，下面我主要介紹下比較流行的基於金字塔的Lucas-Kanade光流演算法。

（1）LK演算法 
LK演算法其實是基於三個假設進行的：

a.亮度恆定。影象場景中目標的畫素在幀間運動時外觀上保持不變，對於灰度影象，需要假設畫素被逐幀跟蹤時其亮度不發生變化。這樣的假設，我們可以用下面的數學表示式來表達： 
這裡寫圖片描述

 
也即是亮度I對時間t的偏導數為0，即： 
  這裡寫圖片描述

b.時間連續或者運動是“小運動”。影象的運動隨時間的變化比較緩慢。實際應用中指的是時間變化相對於影象中運動的比例要足夠小，這樣目標在幀間的運動就比較小。 
這條假設，就只能針對小運動，但實際上的運動往往是比較大的運動，這時我們就會將現在的LK演算法加以改進，採用基於影象金字塔的LK演算法，這在後面將進一步進行介紹。 
針對這條假設，換句話說，可以將運動的變化看成是亮度對時間的導數，此時將f(x,t)用I（x(t),t）替換，應用偏微分的鏈式法則即可得到： 
這裡寫圖片描述

我們接著將從一維的情況過渡到二維的情況下去分析即得到：

這裡寫圖片描述 
這裡寫圖片描述

c.空間一致性假設。一個場景中同一表面上鄰近的點具有相似的運動，在影象平面上的投影也在鄰近區域。 
下面的這幅圖，直觀的給出了上述的三條假設。

這裡寫圖片描述

但垂直光流由孔徑問題產生，即用小孔或者小視窗去測量運動。這種情況下，我們通常只能觀測到邊緣而觀測不到角點，而只靠邊緣是不足以判斷整個物體是如何運動的，如下圖解釋的那樣：

這裡寫圖片描述

單畫素是不能解決整個運動的，要想解決這樣的一個問題，需用到光流的最後一個假設。若一個區域性區域的畫素運動是一致的，則可以建立鄰域畫素的系統方程來求解中心畫素的移動。這個約束方程有點複雜，如果感興趣可以去查閱相關文獻。

以上的LK演算法只需要每個感興趣點周圍小視窗的區域性資訊，但是使用小視窗的LK演算法存在著不足之處就是，較大的運動點將點移出這個小視窗，從而造成演算法無法找到這些點。而金字塔的LK演算法可以解決這樣的問題，即從影象金字塔的最高層（細節最少）開始向金字塔的低層（豐富的細節）進行跟蹤。

（2）影象金字塔的LK演算法 
在影象金字塔的最高層計算光流，用得到的運動估計結果作為下一層金字塔的起始點，重複這個過程直到達到金字塔的最底層。這樣就將不滿足運動假設的可能性降到最小從而實現對更快和更長的運動的跟蹤，這個演算法就叫做基於金字塔的LK演算法。如圖所示： 
這裡寫圖片描述

在OpenCV中主要有個基於影象金字塔的LK演算法的函式cvCalcOpticalFlowPyrLK（），下面就簡要介紹下這個函式的具體的引數的意義，並嘗試給出完整的示例程式。

void cvCalcOpticalFlowPyrLK(
    const CvArr* imgA,//初始影象
    const CvArr* imgB,//最終影象
    CvArr* pyrA,
    CvArr* pyrB,//pyrA,B申請存放兩幅影象金字塔的快取
    CvPoint2D32f* featuresA,//存放的是用於尋找運動的點
    CvPoint2D32f* featuresB,//存放featuresA中點的新位置
    int count,//featuresA中點的數目
    CvSize winsize,//定義了計算區域性連續運動的視窗尺寸
    int level,//用於設定構建的影象金字塔的棧的層數，若設定為0，則不使用金字塔
    char* status,//函式呼叫結束時，status中的每個元素被置1（對應點在第二幅圖中發現）或者0（未發現）
    float* track_error,//為可選引數，表示被跟蹤點的原始影象小區域與此點在第二幅影象的小區域間的差的陣列
    CvTermCriteria criteria,//迭代終止條件
    int flags//標誌位
);
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

應用上述函式的過程非常簡單： 
輸入影象，在featuresA中列出需要跟蹤的點，然後呼叫函式。函式返回後，檢查status陣列以確定哪些點被成功跟蹤，再檢查featuresB得到這些點新的位置。 
下面給出基於影象金字塔的LK演算法完整的示例程式：

#include<opencv2/opencv.hpp>
#include<iostream>
using namespace std;
const int MAX_CORNERS = 500;

int main()
{
    IplImage *imgA = cvLoadImage("OpticalFlow0.jpg", CV_LOAD_IMAGE_GRAYSCALE);
    IplImage *imgB = cvLoadImage("OpticalFlow1.jpg", CV_LOAD_IMAGE_GRAYSCALE);

    CvSize img_sz = cvGetSize(imgA);
    int win_size = 10;
    IplImage *imgC = cvLoadImage("OpticalFlow1.jpg", CV_LOAD_IMAGE_UNCHANGED);

    IplImage *eig_image = cvCreateImage(img_sz, IPL_DEPTH_32F,1);
    IplImage *tmp_image = cvCreateImage(img_sz, IPL_DEPTH_32F, 1);

    int corner_count = MAX_CORNERS;
    CvPoint2D32f *cornersA = new CvPoint2D32f[MAX_CORNERS];

    cvGoodFeaturesToTrack(
        imgA,
        eig_image,
        tmp_image,
        cornersA,
        &corner_count,
        0.01,
        5.0,
        0,
        3,
        0,
        0.04
        );

    cvFindCornerSubPix(
        imgA,
        cornersA,
        corner_count,
        cvSize(win_size, win_size),
        cvSize(-1, -1),
        cvTermCriteria(CV_TERMCRIT_ITER | CV_TERMCRIT_EPS, 20, 0.03)
    );

    char features_found[MAX_CORNERS];
    float features_errors[MAX_CORNERS];
    CvSize pyr_sz = cvSize(imgA->width + 8, imgB->height / 3);
    IplImage *pyrA = cvCreateImage(pyr_sz, IPL_DEPTH_32F, 1);
    IplImage *pyrB = cvCreateImage(pyr_sz, IPL_DEPTH_32F, 1);
    CvPoint2D32f *cornersB = new CvPoint2D32f[MAX_CORNERS];

    cvCalcOpticalFlowPyrLK(
        imgA,
        imgB,
        pyrA,
        pyrB,
        cornersA,
        cornersB,
        corner_count,
        cvSize(win_size, win_size),
        5,
        features_found,
        features_errors,
        cvTermCriteria(CV_TERMCRIT_ITER | CV_TERMCRIT_EPS, 20, 0.3),
        0
        );

    for (int i = 0; i < corner_count; ++i)
    {
        if (features_found[i] == 0 || features_errors[i] > 550)
        {
            cout << "Error is " << features_errors[i];
            continue;
        }
        cout << "Got it!" << endl;
        CvPoint p0 = cvPoint(cvRound(cornersA[i].x), cvRound(cornersA[i].y));
        CvPoint p1 = cvPoint(cvRound(cornersB[i].x), cvRound(cornersB[i].y));
        cvLine(imgC, p0, p1, CV_RGB(255, 0, 0),2);
    }

    cvNamedWindow("ImageA", 0);
    cvNamedWindow("ImageB", 0);
    cvNamedWindow("LKpyr_OpticalFlow", 0);
    cvShowImage("ImageA", imgA);
    cvShowImage("ImageB", imgB);
    cvShowImage("LKpyr_OpticalFlow", imgC);
    cvWaitKey(0);
    return 0;
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88

下面是這個程式執行的結果： 
這裡寫圖片描述 
這個程式選擇的是兩幀不同的影象進行跟蹤畫出的光流，大家可以嘗試著把OpenCV中的視訊捕捉功能用起來，用攝像頭捕捉兩幀影象進行基於影象金字塔的LK演算法。

相關推薦

OpenCV目標跟蹤-LK光流法

這幾天主要看了光流的有關內容，下面就關於光流的有關內容進行個簡單的總結。  所謂的光流是一種運動模式，這種運動模式即是指一個物體、表面、邊緣在一個視角下由一個觀察者和背景之間形成的明顯移動。在如下的圖中給出了光流的直觀解釋。  這裡的每個畫素都與速度相關聯，這樣得到的

目標跟蹤之LK光流法

簡介   光流是一種簡單實用的影象運動的表達方式，通常定義為一個影象序列中的影象亮度模式的表觀運動，即空間物體表面上的點的運動速度在視覺感測器的成像平面上的表達。----百度百科 光流法的前提假設： （1）相鄰幀之間的亮度恆定 （2）相鄰視訊幀的取幀時間連續，或者，相

OpenCV Using Python——基於SURF特徵提取和金字塔LK光流法的單目視覺三維重建

基於SURF特徵提取和金字塔LK光流法的單目視覺三維重建 1. 單目視覺三維重建問題         在前面的文章中，筆者用SIFT提取特徵後用radio測試剔除了匹配中異常的特徵點，然後根據匹配合格的特徵點計算基礎矩陣和本徵矩陣，對本徵矩陣SVD分解來估計和構造透視矩陣，

[opencv] lk光流法小結

本文記錄了LK光流法的原理和opencv的使用例項。 一、理論部分 參考：http://www.cnblogs.com/andyanut/p/5893168.html 二、在opencv中的使用 void cvCalcOpticalFlowPyrLK(

OpenCV學習筆記（二十六）——小試SVM演算法ml OpenCV學習筆記（二十七）——基於級聯分類器的目標檢測objdect OpenCV學習筆記（二十八）——光流法對運動目標跟蹤Video Ope

OpenCV學習筆記（二十六）——小試SVM演算法ml  總感覺自己停留在碼農的初級階段，要想更上一層，就得靜下心來，好好研究一下演算法的東西。OpenCV作為一個計算機視覺的開源庫，肯定不會只停留在數字影象處理的初級階段，我也得加油，深入研究它的演算法庫。就從ml入手

opencv光流法對特定區域進行跟蹤

本例子使用了opencv3.0，利用滑鼠選擇矩形框，然後對選擇的區域進行跟蹤 //---------------------------------光流法對特定區域進行跟蹤----------------- #include <iostream> #include <o

OpenCV中光流法跟蹤器的使用方法學習

一、基於特徵點的目標跟蹤的一般步驟 （1）探測當前幀的特徵點 （2）通過當前幀和下一幀的灰度比較，估計當前幀特徵點在下一幀的位置 （3）過濾位置不變的特徵點，餘下的點就是目標了 基於特徵點的目標跟蹤演算法和1，2兩個步驟有關，特徵點可以是Harris角點，也可以是邊緣點等等，第二步估

光流法-運動目標的檢測（opencv學習）

        cvCalcOpticalFlowPyrLK 函式在使用時，首先要確定特徵點，也就是目標舊的位置。         本程式通過使用cvGoodFeaturesToTrack 函式選擇角點作為特徵點。         本程式只是一個簡單的運動檢測，在具體應用過程中，可以根據自己的需要修正 #i

目標檢測光流法（三）：opencv下光流Farneback法

上節說到過的calcOpticalFlowPyrLK光流演算法，可以看到它實際上是一種稀疏特徵點的光流演算法，也就是說我們先找到那些（特徵）點需要進行處理，然後再處理，該節介紹下一個全域性性的密集光流演算法，也就是對每一個點都進行光流計算，函式為calcOpti

目標檢測光流法（二）：opencv下的光流L-K演算法

後續將簡單介紹光流法的一些簡單實現包，包括opencv下的光流演算法與matlab下的光流演算法。該節主要介紹opencv下的光流實現。 Opencv的光流實現由好幾個方法可以（也就是說有好幾個函式可以用），每個函式當然也對應著不同的原理，那麼它的效果以及演算

光流法目標跟蹤原理（不帶公式）

光流的概念於1950年由Gibson首先提出，所謂光流就是指影象表現運動的速度。物體在運動的時候之所以能被人眼發現，就是因為當物體運動時，會在人的視網膜上形成一系列的連續變化的影象，這些變化資訊在不同時間，不斷的流過眼睛視網膜，就好像一種光流過一樣，故稱之為光流

【圖像處理】openCV光流法追蹤運動物體

num blank ndis water 不同 h+ width 相關性 ida openCV光流法追蹤運動物體 email:[email protected]/* */ 一、光流簡單介紹 摘自：zouxy09 光流的概念是G

【OpenCV筆記】光流法之金字塔Lucas-Kanade

本文參考連結：https://blog.csdn.net/zy122121cs/article/details/44955353 參考論文：”Pyramidal Implementation of the Lucas Kanade Feature TrackerDescrip

光流法（Optical Flow）及OpenCV實現

Optical Flow Optical flow 有兩個假設： 亮度恆定：在相鄰連續兩幀中一個目標的畫素強度不會變化。 空間一致性：周圍畫素有類似執行。 時間規律：相鄰幀時間足夠短，以至於在考慮執行變化時可以忽略它們之間的差異。 假設在第一幀中畫素

【影象處理】openCV光流法追蹤運動物體

openCV光流法追蹤運動物體 email:[email protected] 一、光流簡介         光流的概念是Gibson在1950年首先提出來的。它是空間運動物體在觀察成像平面上的畫素運動的瞬時速度，是利用影象序列中畫素在時間域上的變化以及相鄰幀之

OpenCv_光流法運動目標檢測

以下內容摘自一篇碩士論文《視訊序列中運動目標檢測與跟蹤演算法的研究》： 1950年Gibson首先提出了光流的概念，光流(optical flow)法是空間運動物體在觀測成像面上的畫素運動的瞬時速度。物體在運動的時候，它在影象上對應點的亮度模式也在做相應的運

Opencv學習筆記（九）光流法

    原創文章，轉貼請註明：http://blog.csdn.net/crzy_sparrow/article/details/7407604 本文目錄：       一.基於特徵點的目標跟蹤的一般方法       二.光流法       三.opencv中的光流法函式

用光流法實現視訊中特徵點的跟蹤

在開始跟蹤前，首先要在初始幀中檢測特徵點，之後在下一幀中嘗試跟蹤這些點。你必須找到新的影象幀中這些點的位置。很明顯的，由於我們處理的是視訊序列，很有可能特徵點所在的物體已經移動過（運動也有可能是相機引起的）。因此，你必須在特徵點的先前位置附近進行搜尋，以找到下一

有關opencv光流法的解釋

1981年，Horn和Schunck創造性地將二維速度場與灰度相聯絡，引入光流約束方程，得到光流計算的基本演算法。人們基於不同的理論基礎提出各種光流計算方法，演算法效能各有不同。Barron等人對多種光流計算技術進行了總結，按照理論基礎與數學方法的區別把它們分成四種：基於

光流法詳解之一(LK光流）

ref 像素點 需要 and intel nal get 灰度值 參考文獻 Lucas–Kanade光流算法是一種兩幀差分的光流估計算法。它由Bruce D. Lucas 和 Takeo Kanade提出 [1]。 LK光流法有三個假設條件： 1. 亮度恒定