運動影象跟蹤問題分為目標檢測與目標跟蹤兩部分

一、目標檢測

目標檢測即為從序列影象中將變化區域從背景影象中提取出來，依照目標與相機之間的關係可以分為靜態背景下運動檢測與動態背景下運動檢測。

1、靜態背景

指的是相機在監視過程中不發生移動，檢測目標在相機視場內運動，只有目標相對於相機的運動。

●背景差分法：利用當前影象與背景影象的差分來檢測運動區域。

思想：先獲得一個背景模型，將當前幀與背景模型相減，如果畫素差值大於某一閾值，則判斷此畫素為運動目標，否則屬於背景影象。

●幀間差分法：通過相鄰兩幀影象的差值計算，來獲得運動目標輪廓。

當監控場景中出現異常物體運動時，幀與幀之間會出現較為明顯的差別，兩幀相減，得到兩幀影象亮度差的絕對值，判斷它是否大於閾值來分析視訊或影象序列的運動特性，確定影象序列中有無物體運動。影象序列逐幀的差分，相當於對影象序列進行了時域下的高通濾波。

●光流法：空間中運動可以用運動場描述，影象平面上物體運動通過影象序列中影象灰度分佈來體現，從而空間中運動場轉移到影象上就表示為光流場。影象上的點與三維物體上的點一一對應，這種對應關係可以通過投影來計算得到。光流場反映了影象上沒一點灰度的變化趨勢，可看成帶灰度的畫素點在影象平面運動產生的“”瞬時速度場“”，也是對真實運動場的近似估計。

思想：如果影象中沒有運動目標，則光流向量在整個影象區域是連續變化的。當影象中有運動物體時，目標和背景存在著相對運動。運動物體所形成的速度向量必然和背景的速度向量有所不同，如此便可以計算出運動物體的位置。

2、動態背景

指的是相機在監視過程中發生移動（平移、旋轉、多自由度運動），產生了目標與相機之間複雜的相對運動。

由於背景及前景影象都在做全域性運動，首先應該進行影象的全域性運動估計與補償。由於遵循相同的運動模型，可以用同一模型引數表示。

●塊匹配法：將影象分割成不同的影象塊，假定同一影象小塊上的運動向量相同，通過畫素域搜尋得到最佳運動向量估計。

關鍵技術：匹配法則（最大相關、最小誤差）、搜尋方法（三步搜尋法、交叉搜尋法）、塊大小的確定（分級、自適應）

●光流估計法：對幀影象建立光流場模型後，用光流場方法求解影象畫素點運動速度。

二、特徵跟蹤

在序列影象中每幅影象中實時找到感興趣的運動目標。一類為不依賴於先驗知識，直接從影象序列中檢測運動目標；另一類為以來目標先驗知識，首先為運動目標建模，然後在影象序列中實時找到相匹配的運動目標。

1、運動目標有效表達

包括視覺特徵（影象邊緣、輪廓、形狀、紋理、區域）、統計特徵（直方圖）、變換系數特徵（傅立葉、自迴歸模型）、代數特徵（影象矩陣的奇異值分解）

2、相似性度量演算法

相似性度量演算法與幀影象進行匹配，實現目標跟蹤。常見有歐氏距離、棋盤距離、加權距離等

3、搜尋演算法

預測運動物體下一幀可能出現位置，在相關區域內尋找最優點。KF、EKF、粒子濾波。卡爾曼濾波器是對一個動態系統狀態序列進行線性最小方差估計的演算法，基於以前的狀態序列對下一個狀態做最優估計。

另一類減小搜尋範圍的演算法是優化搜尋方向。利用無參估計的方法優化目標模板與候選目標距離的迭代收斂過程，以達到縮小搜尋範圍的目的。

Meanshift（均值漂移演算法）：利用梯度優化方法實現快速目標定位，適用於非線性運動目標的跟蹤、對目標變形、旋轉有較好適用性。缺點：沒有利用目標在空間中運動方向和運動速度資訊，遮擋時丟失目標。

Camshift（連續自適應均值漂移演算法）：在meanshift基礎上結合目標色彩資訊。由於目標影象直方圖記錄的是顏色出現的概率，這種方法不受目標形狀變化的影響，但開始前需要人工置指定跟蹤目標。

思想：對視訊序列的所有影象幀都作MeanShift運算，並將上一幀的結果（即搜尋視窗的中心位置和視窗大小）作為下一幀MeanShift演算法的搜尋視窗的初始值，如此迭代下去。簡單點說，meanShift是針對單張圖片尋找最優迭代結果，而camShift則是針對視訊序列來處理，並對該序列中的每一幀圖片都呼叫meanShift來尋找最優迭代結果。正是由於camShift針對一個視訊序列進行處理，從而保證其可以不斷調整視窗的大小，如此一來，當目標的大小發生變化的時候，該演算法就可以自適應地調整目標區域繼續跟蹤。

4、目標跟蹤分類

依據運動目標的表達和相似性度量,運動目標跟蹤演算法可以分為四類:基於主動輪廓的跟蹤、基於特徵的跟蹤、基於區域的跟蹤和基於模型的跟蹤。跟蹤演算法的精度和魯棒性很大程度上取決於對運動目標的表達和相似性度量的定義,跟蹤演算法的實時性取決於匹配搜尋策略和濾波預測演算法。

●基於特徵跟蹤：不考慮運動目標的整體特性，假定運動目標可以由唯一的特徵集合表達，搜尋到相應的特徵集合就認為跟蹤上了運動目標，只通過目標影象的顯著特徵跟蹤。

1、特徵提取  

2、特徵匹配：進行幀間目標特徵的匹配，並以最優匹配來跟蹤目標。常見，基於二值化目標影象匹配、基於邊緣特徵匹配、角點特徵匹配、基於目標灰度特徵匹配、基於目標顏色特徵匹配。

●基於區域的跟蹤

得到包含目標的模板，該模板可通過影象分割獲得，模板通常為略大於目標的矩形。