光流Optical Flow

現在四軸飛行器越來越火，如何在室內進行定位呢？不同於傳統四軸的姿態控制，電機驅動，室外定位，都有了一套完整的方案，室內定位還是沒有完全成熟。，目前大四軸可以利用的GPS定高，小四軸比較成熟的也就是光流方案了。
先看一下光流的效果

這是一個揮動的手


雖然也有背景在動，但是因為他們的運動方向不一樣，所以還是可以辨認出來前面那個是手，在前景和背景運動不統一的時候，還是可以辨認出來的。



那麼光流（optic flow）是什麼呢？

名字很專業，感覺很陌生。從本質上說，光流就是你在這個運動著的世界裡感覺到的明顯的視覺運動。例如，當你坐在火車上，然後往窗外看。你可以看到樹、地面、建築等等，他們都在往後退。這個運動就是光流。而且，我們都會發現，他們的運動速度居然不一樣？這就給我們提供了一個挺有意思的資訊：通過不同目標的運動速度判斷它們與我們的距離

//FarnebackdenseopticalflowcalculateandshowinMunsellsystemofcolors
//Author:Zouxy
//Date:2013-3-15
//HomePage:http://blog.csdn.net/zouxy09
//Email:[email protected]
//APIcalcOpticalFlowFarneback()comesfromOpenCV,andthis
//2Ddenseopticalflowalgorithmfromthefollowingpaper:
//GunnarFarneback."Two-FrameMotionEstimationBasedonPolynomialExpansion".
//AndtheOpenCVsourcecodelocatein..\opencv2.4.3\modules\video\src\optflowgf.cpp
#include<iostream>
#include"opencv2/opencv.hpp"
usingnamespacecv;
usingnamespacestd;
#defineUNKNOWN_FLOW_THRESH1e9
//Colorencodingofflowvectorsfrom:
//http://members.shaw.ca/quadibloc/other/colint.htm
//Thiscodeismodifiedfrom:
//http://vision.middlebury.edu/flow/data/
voidmakecolorwheel(vector<Scalar>&colorwheel)
{
intRY=15;
intYG=6;
intGC=4;
intCB=11;
intBM=13;
intMR=6;
inti;
for(i=0;i<RY;i++)colorwheel.push_back(Scalar(255,255*i/RY,0));
for(i=0;i<YG;i++)colorwheel.push_back(Scalar(255-255*i/YG,255,0));
for(i=0;i<GC;i++)colorwheel.push_back(Scalar(0,255,255*i/GC));
for(i=0;i<CB;i++)colorwheel.push_back(Scalar(0,255-255*i/CB,255));
for(i=0;i<BM;i++)colorwheel.push_back(Scalar(255*i/BM,0,255));
for(i=0;i<MR;i++)colorwheel.push_back(Scalar(255,0,255-255*i/MR));
}
voidmotionToColor(Matflow,Mat&color)
{
if(color.empty())
color.create(flow.rows,flow.cols,CV_8UC3);
staticvector<Scalar>colorwheel;//Scalarr,g,b
if(colorwheel.empty())
makecolorwheel(colorwheel);
//determinemotionrange:
floatmaxrad=-1;
//Findmaxflowtonormalizefxandfy
for(inti=0;i<flow.rows;++i)
{
for(intj=0;j<flow.cols;++j)
{
Vec2fflow_at_point=flow.at<Vec2f>(i,j);
floatfx=flow_at_point[0];
floatfy=flow_at_point[1];
if((fabs(fx)>UNKNOWN_FLOW_THRESH)||(fabs(fy)>UNKNOWN_FLOW_THRESH))
continue;
floatrad=sqrt(fx*fx+fy*fy);
maxrad=maxrad>rad?maxrad:rad;
}
}
for(inti=0;i<flow.rows;++i)
{
for(intj=0;j<flow.cols;++j)
{
uchar*data=color.data+color.step[0]*i+color.step[1]*j;
Vec2fflow_at_point=flow.at<Vec2f>(i,j);
floatfx=flow_at_point[0]/maxrad;
floatfy=flow_at_point[1]/maxrad;
if((fabs(fx)>UNKNOWN_FLOW_THRESH)||(fabs(fy)>UNKNOWN_FLOW_THRESH))
{
data[0]=data[1]=data[2]=0;
continue;
}
floatrad=sqrt(fx*fx+fy*fy);
floatangle=atan2(-fy,-fx)/CV_PI;
floatfk=(angle+1.0)/2.0*(colorwheel.size()-1);
intk0=(int)fk;
intk1=(k0+1)%colorwheel.size();
floatf=fk-k0;
//f=0;//uncommenttoseeoriginalcolorwheel
for(intb=0;b<3;b++)
{
floatcol0=colorwheel[k0][b]/255.0;
floatcol1=colorwheel[k1][b]/255.0;
floatcol=(1-f)*col0+f*col1;
if(rad<=1)
col=1-rad*(1-col);//increasesaturationwithradius
else
col*=.75;//outofrange
data[2-b]=(int)(255.0*col);
}
}
}
}
intmain(int,char**)
{
VideoCapturecap;
cap.open(0);
//cap.open("test_02.wmv");
if(!cap.isOpened())
return-1;
Matprevgray,gray,flow,cflow,frame;
namedWindow("flow",1);
Matmotion2color;
for(;;)
{
doublet=(double)cvGetTickCount();
cap>>frame;
cvtColor(frame,gray,CV_BGR2GRAY);
imshow("original",frame);
if(prevgray.data)
{
calcOpticalFlowFarneback(prevgray,gray,flow,0.5,3,15,3,5,1.2,0);
motionToColor(flow,motion2color);
imshow("flow",motion2color);
}
if(waitKey(10)>=0)
break;
std::swap(prevgray,gray);
t=(double)cvGetTickCount()-t;
cout<<"costtime:"<<t/((double)cvGetTickFrequency()*1000.)<<endl;
}
return0;
}

效果：在pc機上，計算160ms左右，也就是6幀，達不到實時的效果。