2. 程式人生 > >Optical flow（通俗講解）

Optical flow（通俗講解）

阿新 • • 發佈：2019-01-03
現在四軸飛行器越來越火，如何在室內進行定位呢？不同於傳統四軸的姿態控制，電機驅動，室外定位，都有了一套完整的方案，室內定位還是沒有完全成熟。，目前大四軸可以利用的GPS定高，小四軸比較成熟的也就是光流方案了。
先看一下光流的效果

這是一個揮動的手
雖然也有背景在動，但是因為他們的運動方向不一樣，所以還是可以辨認出來前面那個是手，在前景和背景運動不統一的時候，還是可以辨認出來的。

那麼光流（optic flow）是什麼呢？

名字很專業，感覺很陌生。從本質上說，光流就是你在這個運動著的世界裡感覺到的明顯的視覺運動。例如，當你坐在火車上，然後往窗外看。你可以看到樹、地面、建築等等，他們都在往後退。這個運動就是光流。而且，我們都會發現，他們的運動速度居然不一樣？這就給我們提供了一個挺有意思的資訊：通過不同目標的運動速度判斷它們與我們的距離
。一些比較遠的目標，例如雲、山，它們移動很慢，感覺就像靜止一樣。但一些離得比較近的物體，例如建築和樹，就比較快的往後退，然後離我們的距離越近，它們往後退的速度越快。一些非常近的物體，例如路面的標記啊，草地啊等等，快到好像在我們耳旁發出嗖嗖的聲音。       

        光流除了提供遠近外，還可以提供角度資訊。與咱們的眼睛正對著的方向成90度方向運動的物體速度要比其他角度的快，當小到0度的時候，也就是物體朝著我們的方向直接撞過來，我們就是感受不到它的運動（光流）了，看起來好像是靜止的。當它離我們越近，就越來越大。

比較官方的光流定義

光流的概念是Gibson在1950年首先提出來的。它是空間運動物體在觀察成像平面上的畫素運動的瞬時速度，是利用影象序列中畫素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關係，從而計算出相鄰幀之間物體的運動資訊的一種方法。
一般而言，光流是由於場景中前景目標本身的移動、相機的運動，或者兩者的共同運動所產生的。

       當人的眼睛觀察運動物體時，物體的景象在人眼的視網膜上形成一系列連續變化的影象，這一系列連續變化的資訊不斷“流過”視網膜（即影象平面），好像一種光的“流”，故稱之為光流（optical flow）。光流表達了影象的變化，由於它包含了目標運動的資訊，因此可被觀察者用來確定目標的運動情況。

       研究光流場的目的就是為了從圖片序列中近似得到不能直接得到的運動場。運動場，其實就是物體在三維真實世界中的運動；光流場，是運動場在二維影象平面上（人的眼睛或者攝像頭）的投影。

       那通俗的講就是通過一個圖片序列，把每張影象中每個畫素的運動速度和運動方向找出來就是光流場。那怎麼找呢？咱們直觀理解肯定是：第t幀的時候A點的位置是(x1, y1)，那麼我們在第t+1幀的時候再找到A點，假如它的位置是(x2,y2)，那麼我們就可以確定A點的運動了：(ux, vy) = (x2, y2) - (x1,y1)。

那怎麼知道第t+1幀的時候A點的位置呢？ 這就存在很多的光流計算方法了。

       1981年，Horn和Schunck創造性地將二維速度場與灰度相聯絡，引入光流約束方程，得到光流計算的基本演算法。人們基於不同的理論基礎提出各種光流計算方法，演算法效能各有不同。Barron等人對多種光流計算技術進行了總結，按照理論基礎與數學方法的區別把它們分成四種：基於梯度的方法、基於匹配的方法、基於能量的方法、基於相位的方法。近年來神經動力學方法也頗受學者重視。

還是迴歸應用吧，目前OpenCV中實現了不少的光流演算法。

1. calcOpticalFlowPyrLK
通過金字塔Lucas-Kanade 光流方法計算某些點集的光流（稀疏光流）。理解的話，可以參考這篇論文：”Pyramidal Implementation of the Lucas Kanade Feature TrackerDescription of the algorithm”
2. calcOpticalFlowFarneback
用Gunnar Farneback 的演算法計算稠密光流（即影象上所有畫素點的光流都計算出來）。它的相關論文是："Two-Frame Motion Estimation Based on PolynomialExpansion"
3. CalcOpticalFlowBM
通過塊匹配的方法來計算光流。
4. CalcOpticalFlowHS
用Horn-Schunck 的演算法計算稠密光流。相關論文好像是這篇：”Determining Optical Flow”
5. calcOpticalFlowSF
這一個是2012年歐洲視覺會議的一篇文章的實現："SimpleFlow: A Non-iterative, Sublinear Optical FlowAlgorithm"，工程網站是：http://graphics.berkeley.edu/papers/Tao-SAN-2012-05/  在OpenCV新版本中有引入。
還有他們的API的使用說明，我們直接參考OpenCV的官方手冊就行：
http://www.opencv.org.cn/opencvdoc/2.3.2/html/modules/video/doc/motion_analysis_and_object_tracking.html#calcopticalflowfarneback

IJCV2011有一篇文章，《A Database and Evaluation Methodology for Optical Flow》裡面對主流的光流演算法做了簡要的介紹和對不同演算法進行了評估。網址是：http://vision.middlebury.edu/flow/

       感覺這個文章在光流演算法的解說上非常好，條例很清晰。想了解光流的，推薦看這篇文章。另外，需要提到的一個問題是，光流場是圖片中每個畫素都有一個x方向和y方向的位移，所以在上面那些光流計算結束後得到的光流flow是個和原來影象大小相等的雙通道影象。那怎麼視覺化呢？這篇文章用的是Munsell顏色系統來顯示。



孟塞爾顏色系統的空間大致成一個圓柱形：
南北軸=明度（value），從全黑（1）到全白（10）。
經度=色相（hue）。把一週均分成五種主色調和五種中間色：紅(R)、紅黃(YR)、黃(Y)、黃綠(GY)、綠(G)、綠藍(BG)、藍(B)、藍紫(PB)、紫(P)、紫紅(RP)。相鄰的兩個位置之間再均分10份，共100份。
距軸的距離=色度（chroma），表示色調的純度。其數值從中間（0）向外隨著色調的純度增加，沒有理論上的上限（普通的顏色實際上限為10左右，反光、熒光等材料可高達30）。由於人眼對各種顏色的的敏感度不同，色度不一定與每個色調和明度組合相匹配。
具體顏色的標識形式為：色相+明度+色度。
       在上面的那個評估的網站有這個從flow到color顯示的Matlab和C++程式碼。但是感覺C++程式碼分幾個檔案，有點亂，然後我自己整理成兩個函數了，並配合OpenCV的Mat格式。
       下面的程式碼是用calcOpticalFlowFarneback來計算稠密光流並且用這個顏色系統來顯示的。這個計算稠密光流的方法與其他幾個相比還是比較快的，640x480的視訊我的是200ms左右一幀，但其他的一般都需要一兩秒以上。結果圖中，不同顏色表示不同的運動方向，深淺就表示運動的快慢了。
void calcOpticalFlowFarneback(InputArray prevImg, InputArray nextImg,InputOutputArray flow, double pyrScale, int levels, int winsize, intiterations, int polyN, double polySigma, int flags)
大部分引數在論文中都有一套比較好的值的，直接採用他們的就好了。
  1.     // Farneback dense optical flow calculate and show in Munsell system of colors  
  2.     // Author : Zouxy  
  3.     // Date   : 2013-3-15  
  4.     // HomePage : http://blog.csdn.net/zouxy09  
  5.     // Email  : [email protected]  
  6.     // API calcOpticalFlowFarneback() comes from OpenCV, and this  
  7.     // 2D dense optical flow algorithm from the following paper:  
  8.     // Gunnar Farneback. "Two-Frame Motion Estimation Based on Polynomial Expansion".  
  9.     // And the OpenCV source code locate in ..\opencv2.4.3\modules\video\src\optflowgf.cpp  
  10.     #include <iostream>  
  11.     #include "opencv2/opencv.hpp"  
  12.     using namespace cv;  
  13.     using namespace std;  
  14.     #define UNKNOWN_FLOW_THRESH 1e9  
  15.     // Color encoding of flow vectors from:  
  16.     // http://members.shaw.ca/quadibloc/other/colint.htm  
  17.     // This code is modified from:  
  18.     // http://vision.middlebury.edu/flow/data/  
  19.     void makecolorwheel(vector<Scalar> &colorwheel)  
  20.     {  
  21.         int RY = 15;  
  22.         int YG = 6;  
  23.         int GC = 4;  
  24.         int CB = 11;  
  25.         int BM = 13;  
  26.         int MR = 6;  
  27.         int i;  
  28.         for (i = 0; i < RY; i++) colorwheel.push_back(Scalar(255,       255*i/RY,     0));  
  29.         for (i = 0; i < YG; i++) colorwheel.push_back(Scalar(255-255*i/YG, 255,       0));  
  30.         for (i = 0; i < GC; i++) colorwheel.push_back(Scalar(0,         255,      255*i/GC));  
  31.         for (i = 0; i < CB; i++) colorwheel.push_back(Scalar(0,         255-255*i/CB, 255));  
  32.         for (i = 0; i < BM; i++) colorwheel.push_back(Scalar(255*i/BM,      0,        255));  
  33.         for (i = 0; i < MR; i++) colorwheel.push_back(Scalar(255,       0,        255-255*i/MR));  
  34.     }  
  35.     void motionToColor(Mat flow, Mat &color)  
  36.     {  
  37.         if (color.empty())  
  38.             color.create(flow.rows, flow.cols, CV_8UC3);  
  39.         static vector<Scalar> colorwheel; //Scalar r,g,b  
  40.         if (colorwheel.empty())  
  41.             makecolorwheel(colorwheel);  
  42.         // determine motion range:  
  43.         float maxrad = -1;  
  44.         // Find max flow to normalize fx and fy  
  45.         for (int i= 0; i < flow.rows; ++i)   
  46.         {  
  47.             for (int j = 0; j < flow.cols; ++j)   
  48.             {  
  49.                 Vec2f flow_at_point = flow.at<Vec2f>(i, j);  
  50.                 float fx = flow_at_point[0];  
  51.                 float fy = flow_at_point[1];  
  52.                 if ((fabs(fx) >  UNKNOWN_FLOW_THRESH) || (fabs(fy) >  UNKNOWN_FLOW_THRESH))  
  53.                     continue;  
  54.                 float rad = sqrt(fx * fx + fy * fy);  
  55.                 maxrad = maxrad > rad ? maxrad : rad;  
  56.             }  
  57.         }  
  58.         for (int i= 0; i < flow.rows; ++i)   
  59.         {  
  60.             for (int j = 0; j < flow.cols; ++j)   
  61.             {  
  62.                 uchar *data = color.data + color.step[0] * i + color.step[1] * j;  
  63.                 Vec2f flow_at_point = flow.at<Vec2f>(i, j);  
  64.                 float fx = flow_at_point[0] / maxrad;  
  65.                 float fy = flow_at_point[1] / maxrad;  
  66.                 if ((fabs(fx) >  UNKNOWN_FLOW_THRESH) || (fabs(fy) >  UNKNOWN_FLOW_THRESH))  
  67.                 {  
  68.                     data[0] = data[1] = data[2] = 0;  
  69.                     continue;  
  70.                 }  
  71.                 float rad = sqrt(fx * fx + fy * fy);  
  72.                 float angle = atan2(-fy, -fx) / CV_PI;  
  73.                 float fk = (angle + 1.0) / 2.0 * (colorwheel.size()-1);  
  74.                 int k0 = (int)fk;  
  75.                 int k1 = (k0 + 1) % colorwheel.size();  
  76.                 float f = fk - k0;  
  77.                 //f = 0; // uncomment to see original color wheel  
  78.                 for (int b = 0; b < 3; b++)   
  79.                 {  
  80.                     float col0 = colorwheel[k0][b] / 255.0;  
  81.                     float col1 = colorwheel[k1][b] / 255.0;  
  82.                     float col = (1 - f) * col0 + f * col1;  
  83.                     if (rad <= 1)  
  84.                         col = 1 - rad * (1 - col); // increase saturation with radius  
  85.                     else  
  86.                         col *= .75; // out of range  
  87.                     data[2 - b] = (int)(255.0 * col);  
  88.                 }  
  89.             }  
  90.         }  
  91.     }  
  92.     int main(int, char**)  
  93.     {  
  94.         VideoCapture cap;  
  95.         cap.open(0);  
  96.         //cap.open("test_02.wmv");  
  97.         if( !cap.isOpened() )  
  98.             return -1;  
  99.         Mat prevgray, gray, flow, cflow, frame;  
  100.         namedWindow("flow", 1);  
  101.         Mat motion2color;  
  102.         for(;;)  
  103.         {  
  104.             double t = (double)cvGetTickCount();  
  105.             cap >> frame;  
  106.             cvtColor(frame, gray, CV_BGR2GRAY);  
  107.             imshow("original", frame);  
  108.             if( prevgray.data )  
  109.             {  
  110.                 calcOpticalFlowFarneback(prevgray, gray, flow, 0.5, 3, 15, 3, 5, 1.2, 0);  
  111.                 motionToColor(flow, motion2color);  
  112.                 imshow("flow", motion2color);  
  113.             }  
  114.             if(waitKey(10)>=0)  
  115.                 break;  
  116.             std::swap(prevgray, gray);  
  117.             t = (double)cvGetTickCount() - t;  
  118.             cout << "cost time: " << t / ((double)cvGetTickFrequency()*1000.) << endl;  
  119.         }  
  120.         return 0;  
  121.     }  
複製程式碼

相關推薦

Optical flow（通俗講解）

現在四軸飛行器越來越火，如何在室內進行定位呢？不同於傳統四軸的姿態控制，電機驅動，室外定位，都有了一套完整的方案，室內定位還是沒有完全成熟。，目前大四軸可以利用的GPS定高，小四軸比較成熟的也就是光流方案了。先看一下光流的效果這是一個揮動的手雖然也有背景在動，但是因為他們的運

C++中類與物件的講解（通俗易懂）

#include<iostream>usingnamespace std;classBox{public:staticint objectCount;// 建構函式定義Box(double l=2.0,double b=2.0,double h=2.0){ cout <&l

我徹底服了，大牛講解訊號與系統（通俗易懂）

我徹底服了，大牛講解訊號與系統（通俗易懂） | 貿澤工程師社群 http://mouser.eetrend.com/content/2018/100011813.html 引子 很多朋友和我一樣，工科電子類專業，學了一堆訊號方面的課，什麼都沒學懂，背了公式考了試，然後畢業了。 先說"卷積

鼠標經過圖片時圖片上出現文字，鼠標移出時隱藏（通俗版） -《狗嗨默示錄》-

his -h fun con 出現 type ava style size <script type="text/javascript"> $(".news_con_col").mouseover(function(){ $(this).find(".bg-

知識點一，使用os庫遍歷文件夾（詳細講解）

python web 爬蟲 os 系統 使用os庫遍歷文件夾 有時候我們需要對文件進行批量處理，那麽遍歷文件夾這種操作就必不可少 如何操作： #path是你指定的路徑，如:"C:/" os.walk(path) os.walk()的返回值是什麽呢？其實你只要打印一下就知道了，是一個g

C指針（3）——指向指針的指針（程序講解）

結果 [1] \n size urn 第一個字符 cpp 指針數組 字符 4-1.c多維數組的定義 #include<stdio.h> int main(void) { int i,j; int data[2][3]={{1,2,3},{4,5,6}}

Timer定時器 （詳細講解）

Timer定時器主要做定時任務或者按照一定的時間間隔做任務，例如每天4點鐘定時執行作業等 Timer的特性 1、它屬於單執行緒的，每建立個Timer例項，就會建立一個新執行緒 2、Timer預設情況下不是守護執行緒，可以設定為守護執行緒new Timer(true),守護執行緒再程序中沒

【轉】Python+opencv利用sobel進行邊緣檢測（細節講解）

#! usr/bin/env python # coding:utf-8 # 2018年7月2日06:48:35 # 2018年7月2日23:11:59 import cv2 import numpy as np import matplotlib.pyplot as plt img = cv2

HDFS檔案讀寫操作 （通俗易懂）

首先來介紹兩個概念 ▪NameNode：領導級別。管 NameNode：領導級別。管理資料塊對映；處理客戶端的讀寫請求；配置副本策略；管理HDFS的名稱空間； DataNode：員工級別。負責儲存客戶端發來的資料塊block；執行資料塊的讀寫操作。 理資料 寫詳細步驟： 1、首先

傅立葉變換的意義和理解（通俗易懂）

這篇文章的核心思想就是：要讓讀者在不看任何數學公式的情況下理解傅立葉分析。 傅立葉分析不僅僅是一個數學工具，更是一種可以徹底顛覆一個人以前世界觀的思維模式。但不幸的是，傅立葉分析的公式看起來太複雜了，所以很多大一新生上來就懵圈並從此對它深惡痛絕。老實說，這麼有意思的東西居然成了大學裡的殺

Event Flow（事件流）

DOM Event：事件流動（Event Flow）： 定義：          DOM(文件物件模型)結構是一個樹型結構，當一個HTML元素產生一個事件時，該事件會在元素節點與根結點之間的路徑傳播，路徑所經過的結點都會收到該事件，這個傳播過程可稱為D

centos 7 linux系統預設ftp安裝配置和部署（詳細講解）

轉載自：https://www.cnblogs.com/mujingyu/p/7677273.html 小生接觸 Linux 系統時間不長，想解決linux系統ftp安裝及部署問題，折騰了大半天，終於弄出來了，將各路 高手的配置方法綜合了一下，如有不對之處，歡迎各位看客指正，感謝！ 一、

SIR疾病傳播模型理論（通俗易懂）

youtube上看的視訊，然後截下圖做的筆記。 視訊中用的是一個學校，兒童爆發麻疹的的例子。 S是易感染的人群（即目前是健康，未感染的人）， I是感染了的人群 R是感染後好了的，被移除了的人。（即不會再被感染） 他們各自的速率 由這張圖可以很清楚地看到他們的關

JS中對於for迴圈中點選事件的理解（通俗版）

在學習JS時遇到了一個問題，就是如果有多個按鈕時，我們可以通過document.getElementByTagName（“button”）的方式來獲取事件陣列，在獲取後我們需要監聽每一個按鈕是否被點選。最簡單的方式就是分開寫，一個按鈕對應一個點選事件函式，這樣雖然通俗易懂，但是這樣的程式碼量是十分大

MySQL的優化（例子講解）

首先建立一張測試表用於測試使用： CREATE TABLE `test` (   `id` int(11) NOT NULL AUTO_INCREMENT,   `c1` varchar(10) DEFAULT NULL,   `c2` va

WebSocket原理（通俗篇）

一、WebSocket是HTML5出的東西（協議），也就是說HTTP協議沒有變化，或者說沒關係，但HTTP是不支援持久連線的（長連線，迴圈連線的不算） 首先HTTP有1.1和1.0之說，也就是所謂的keep-alive，把多個HTTP請求合併為一個，但是Websocket其實

【轉】在VS2010上使用C#呼叫非託管C++生成的DLL檔案（圖文講解）

原文：http://www.cyqdata.com/cnblogs/article-detail-35876# 背景       在專案過程中，有時候你需要呼叫非C#編寫的DLL檔案，尤其在使用一些第三方通訊元件的時候，通過C#來開發應用軟體時，就需要利用

Comparable介面和Comparator介面的區別（通俗版）

概述 Comparable和Comparator都是用來實現集合中元素的比較、排序的。 Comparable是在集合內部定義的方法實現的排序，位於java.lang下。 Comparator是在集合外部實現的排序，位於java.util下。 Comparable是一個物件本

資料庫三大正規化詳解（通俗易懂）

◆ 第一正規化（1NF）：     強調的是列的原子性，即列不能夠再分成其他幾列。考慮這樣一個表：【聯絡人】（姓名，性別，電話）如果在實際場景中，一個聯絡人有家庭電話和公司電話，那麼這種表結構設計就沒有達到 1NF。要符合 1NF 我們只需把列（電話）拆分，即：【聯絡人】（

什麼是分散式系統（通俗易懂）

最近做了一些分散式的專案，但還沒有真正的理解和認識什麼是分散式，以及為什麼要這麼設計等等一系統問題，在看過大神的貼子了，如夢初醒，受益匪淺！ 著作權歸作者所有。 商業轉載請聯絡作者獲得授權，非商業轉載請註明出處。 作者：林建入 連結：http://www.zhihu.c