模板匹配是一種在影象中定位目標的方法，通過把輸入影象在實際影象上逐畫素點滑動，計算特徵相似性，以此來判斷當前滑塊影象所在位置是目標影象的概率。

在Opencv中，模板匹配定義了6種相似性對比方式：

    CV_TM_SQDIFF 平方差匹配法：計算影象畫素間的距離之和，最好的匹配是0，值越大，是目標的概率就越低。
    CV_TM_CCORR 相關匹配法：一種乘法操作；數值從小到大，匹配概率越來越高。
    CV_TM_CCOEFF 相關係數匹配法：從-1到1，匹配概率越來越高。
    CV_TM_SQDIFF_NORMED 歸一化平方差匹配
    CV_TM_CCORR_NORMED 歸一化相關匹配
    CV_TM_CCOEFF_NORMED 歸一化相關係數匹配

視訊檔案中移動物體的跟蹤，本質上還是影象上目標跟蹤，可以使用模板匹配方法，實現簡單的匹配跟蹤效果，只不過模板匹配要逐畫素移動去匹配目標影象，計算量大，實時性差。

以下程式碼實現基於模板匹配的目標跟蹤。通過滑鼠單擊在視訊上畫出矩形，定義需要跟蹤的目標，在匹配到目標的時候，用目標影象重新整理輸入影象：

#include "core/core.hpp"  
#include "highgui/highgui.hpp"  
#include "imgproc/imgproc.hpp"  
#include<iostream>  

using namespace cv;  
using namespace std;  

Mat image;   //視訊流
Mat imageCopy; //繪製矩形框時用來拷貝原圖的影象
Mat rectImage;  //子影象
bool leftButtonDownFlag=false; //左鍵單擊後視訊暫停播放的標誌位
Point originalPoint; //矩形框起點
Point processPoint; //矩形框終點

int resultRows;  //模板匹配result的行
int resultcols;  //模板匹配result的列
Mat ImageResult;  //模板匹配result
double minValue;   //模板匹配result最小值
double maxValude;   //模板匹配result最大值
Point minPoint;   //模板匹配result最小值位置
Point maxPoint;    //模板匹配result最大值位置
int frameCount=0; //幀數統計

void onMouse(int event,int x,int y,int flags ,void* ustc); //滑鼠回撥函式

int main(int argc,char*argv[])  
{  
	VideoCapture video(argv[1]);
	double fps=video.get(CV_CAP_PROP_FPS); //獲取視訊幀率
	double pauseTime=1000/fps; //兩幅畫面中間間隔
	namedWindow("Man",0);
	setMouseCallback("Man",onMouse);
	while(true)
	{
		if(!leftButtonDownFlag) //滑鼠左鍵按下繪製矩形時，視訊暫停播放
		{
			video>>image;
			frameCount++;   //幀數
		}
		if(!image.data||waitKey(pauseTime+30)==27)  //影象為空或Esc鍵按下退出播放
		{
			break;
		}
		if(rectImage.data)
		{		
			ImageResult=Mat::zeros(resultRows,resultcols,CV_32FC1);
			matchTemplate(image,rectImage,ImageResult,CV_TM_SQDIFF);  //模板匹配
			minMaxLoc(ImageResult,&minValue,&maxValude,&minPoint,&maxPoint,Mat());  //最小值最大值獲取
			rectangle(image,minPoint,Point(minPoint.x+rectImage.cols,minPoint.y+rectImage.rows),Scalar(0,0,255),2);
			//更新當前模板匹配的模板
			Mat resultImage=image(Rect(minPoint,Point(minPoint.x+rectImage.cols,minPoint.y+rectImage.rows)));
			rectImage=resultImage.clone();
			//當前幀數輸出到視訊流
			stringstream ss;
			ss<<frameCount; 
			string h="Current frame is: ";
			string fff=h+ss.str();
			putText(image,fff,Point(50,60),CV_FONT_HERSHEY_COMPLEX_SMALL,2,Scalar(0,0,255),2);
		}
		imshow("Man",image);		
	}
	return 0;
}  

//*******************************************************************//  
//滑鼠回撥函式  
void onMouse(int event,int x,int y,int flags,void *ustc)  
{     
	if(event==CV_EVENT_LBUTTONDOWN)  
	{  
		leftButtonDownFlag=true; //標誌位
		originalPoint=Point(x,y);  //設定左鍵按下點的矩形起點
		processPoint=originalPoint;
	}  
	if(event==CV_EVENT_MOUSEMOVE&&leftButtonDownFlag)  
	{  
		imageCopy=image.clone();
		processPoint=Point(x,y);
		if(originalPoint!=processPoint)
		{
			//在複製的影象上繪製矩形
			rectangle(imageCopy,originalPoint,processPoint,Scalar(0,0,255),2);
		}
		imshow("Man",imageCopy);
	}  
	if(event==CV_EVENT_LBUTTONUP)  
	{  
		leftButtonDownFlag=false; 
		Mat subImage=image(Rect(originalPoint,processPoint)); //子影象
		rectImage=subImage.clone();   
		resultRows=image.rows-rectImage.rows+1;
		resultcols=image.cols-rectImage.rows+1;
		imshow("Sub Image",rectImage);	
	}	 
} 
 

框選出的跟蹤目標：

跟蹤效果：

在目標特徵變化不是特別快的情況下，跟蹤效果還可以，同時也存在兩個問題：

1. 模板匹配的速度很慢：原始視訊影象大小是1920*1080的彩色RGB影象，直接拿來目標匹配，在我的機器上消耗時間大約為1s，根本談不上實時性。優化方向可以考慮原始影象和輸入影象都做金字塔縮放，速度提升應該很明顯。

2. 存在跟蹤漂移：隨時更新跟蹤目標這種線上跟蹤方法，很容易導致跟蹤漂移問題，特別是在目標本身的特徵變化較大的情況下，嚴重的還有可能完全跟丟目標，並且永久丟失對目標的跟蹤。優化方向可以考慮對歷史上檢測出的目標影象採用累積權重法生成下一個輸入影象。另一個針對完全跟丟的情況，可以對目標匹配的概率設定一個閾值，小於閾值的，可能檢測到的是一個跟目標差異很大的物體，不對輸入影象做更新。