OpenCV-camShift 演算法
技術標籤：opencv
OpenCV-CamShift 演算法
1.概述
CamShift 演算法 (Continuously AdaptiveMeanSifit),是對 MeanShift 演算法 的改進，能夠自動調節搜尋視窗大小來適應目標的大小，可以跟蹤視訊中尺寸變化的目標。它也是一種 半自動跟蹤演算法 ，需要手動標定跟蹤目標。基本思想是以視訊影象中運動物體的顏色資訊作為特徵，對輸入影象的每一幀分別作 MeanShift 運算，並將上一幀的目標中心和搜尋視窗大小作為下一幀 MeanShift 演算法的中心和搜尋視窗大小的初始值，如此迭代下去，就可以實現對目標的跟蹤。因為在每次搜尋前將搜尋視窗的位置和大小設定為運動目標當前中心的位置和大小，而運動目標通常在這區域附近，縮短了搜尋時間；另外，在目標運動過程中，顏色變化不大，故該演算法具有良好的魯棒性。
/**@brief Finds an object center,size,and orientation.
*@param probImage Back projection of the object histogram.
*@param window Initial search window.
*@parma criteria Stop criteria for the underlying meanShift.
returns(in old interfaces) Number of iterations CAMSHIFT took to converge
The function implement the CAMSHIFT object tracking algorithm @cite Bradski98.First,it finds an
objec center using meanShift and hen adjusts the window size and finds the optimal rotation.
The function returns the rotated rectangle structure that includes the object position,size,and orientation.The next position of the search window can be obtained with RotatedRect::boundingRect()
*/ 其中 probImage 為輸入影象直方圖的反向投影圖，window 為要跟蹤目標的初始位置矩形框，criteria 為演算法結束條件。函式返回一個有方向角度的旋轉矩陣。該函式的實現首先是利用 MeanShift 演算法計算出要跟蹤的中心，然後調整初始視窗的大小位置和方向角度。在 CamShift 內部呼叫了 MeanShift 演算法計算目標的重心。
2.演算法
2.1 演算法流程圖
2.2 具體步驟
步驟一：計算目標區域內的顏色直方圖。
通常是將輸入影象轉換到HSV顏色空間，目標區域為初始設定的搜尋視窗範圍，分離出色調H分量做該區域的色調直方圖計算。因為 RGB 顏色空間對光線條件的改變較為敏感，要減小該因素對跟蹤效果的影響，CamShift 演算法通常採用 HSV 色彩空間進行處理，當然也可以用其它顏色空間計算。這樣即得到目標模板的顏色直方圖。
步驟二：根據獲得的顏色直方圖將原始輸入影象轉化成顏色概率分佈圖像，該過程稱為“反向投影"。所謂直方圖反向投影，就是輸入影象在已知目標顏色直方圖的條件下的顏色概率密度分佈圖，包含了目標在當前幀中的相干資訊。對於輸入影象中的每一個畫素，查詢目標模型顏色直方圖，對於目標區域內的畫素，可得到該畫素屬於目標畫素的概率，而對於非目標區域內的畫素,該概率為0。
步驟三：Mean Shift迭代過程。目的在於找到目標中心在當前幀中的位置。首先在顏色概率分佈圖中選擇搜尋視窗的大小和初始位置，然後計算搜尋視窗的質心位置。設畫素點(i, j)位於搜尋視窗內，I(i, j)是顏色直方圖的反向投影圖中該畫素點對應的值，定義搜尋視窗的零階矩 M00 和一階矩M10,M01如下：
則搜尋視窗的質心位置為：
接著調整搜尋視窗中心到質心。零階矩反映了搜尋視窗尺寸，依據它調整視窗大小，並將搜尋視窗的中心移到質心，如果移動距離大於設定的閾值，則重新計算調整後的視窗質心，進行新一輪的視窗位置和尺寸調整。直到視窗中心與質心之間的移動距離小於閾值，或者迭代次數達到某一最大值，認為收斂條件滿足，將搜尋視窗位置和大小作為下一幀的目標位置輸入，開始對下一幀影象進行新的目標搜尋。
3.程式
3.1 開啟攝像頭
VidelCapture cap;
cap.open(0);
if(!cap.isOpened())
{
cout<<"Could not initialize camera"<<endl;
return -1;
}
3.2 滑鼠響應
static void onMouse(int event, int x, int y, int, void *)
{
if(selectObject)
{
selection.x = MIN(x, origin.x);
selection.y = MIN(y, origin.y);
selection.width = std::abs(x - origin.x);
selection.height = std::abs(y - origin.y);
selection &= Rect(0, 0, image.cols, image.rows);
}
switch(event)
{
case EVENT_LBUTTONDOWN:
origin = Point(x, y);
selection = Rect(x, y, 0, 0);
selectObject = true;
break;
case EVENT_LBUTTONUP:
selectObject = false;
if (selection.width > 0 && selection.height > 0)
trackObject = -1;
break;
}
}
setMouseCallback("CamShift", onMouse, 0);
3.3 影象型別轉換及閾值化
cvtColor(image, hsv, COLOR_BGR2HSV);
inRange(hsv, Scalar(0, smin, MIN(_vmin, _vmax)), Scalar(180, 256, MAX(_vmin, _vmax)), mask);
3.4 計算、歸一化、繪製直方圖
calcHist(&roi, 1, 0, maskroi, hist, 1, &hsize, &phranges);
normalize(hist, hist, 0, 255, NORM_MINMAX, -1);
for(int i=0; i<hsize; i++)
{
int val = saturate_cast<int>(hist.at<float>(i)*histImg.rows/255);
rectangle(histImg, Point(i*binW, histImg.rows), Point((i+1)*binW, histImg.rows-val), Scalar(buff.at<Vec3b>(i)), -1, 8);
}
3.5 反向投影
calcBackProject(&hue, 1, 0, hist, backproject, &phranges);
3.6 目標跟蹤
RotatedRect trackBox=CamShift(backproject, trackWindow, TermCriteria(TermCriteria::EPS | TermCriteria::CONT, 10, 1));
ellipse(image, trackBox, Scalar(255,0,0), 3, LINE_AA);
4. 總結
CamShift演算法改進了 MeanShift 跟蹤演算法的第二個缺陷，在跟蹤過程中能夠依據目標的尺寸調節搜尋視窗大小，對 有尺寸變化的目標可準確定位。但是，一方面 CamShfit 演算法在計算目標模板直方圖分佈時，沒有使用核函式進行加權處理，也就是說目標區域內的每個畫素點在目標模型中有著相同的權重，故 CamShfit 演算法的抗噪能力低於MeanShift跟蹤演算法。另一方面，CamShift 演算法中沒有定義候選目標，直接利用目標模板進行跟蹤。除此以外，CamShift 演算法採用 HSV 色彩空間的H分量建立目標直方圖模型，仍然只是依據目標的色彩資訊來進行跟蹤，當目標與背景顏色接近或者被其他物體遮擋時，CamShift 會自動將其包括在內，導致跟蹤視窗擴大，有時甚至會將跟蹤視窗擴大到整個視訊大小，導致目標定位的不準確，連續跟蹤下去造成目標的丟失。