OpenCV單目視覺定位（測量）系統

The System of Vision Location with Signal Camera

Abstract:This passage mainly describes how to locate with signalcamera,which bases on OpenCV library.

Key words: OpenCV; Locate;Signalcamera

摘  要：本文主要描述的是利用開源計算機視覺庫OpenCV實現單目視覺定位系統。

關鍵詞： OpenCV；單位視覺定位

1     總體設計方案

單目視覺定位系統是通過單個解析度為640*480，20萬的USB手動調焦攝像頭獲取圖片並傳到計算機利用OpenCV進行預處理、識別、定位、測量等影象處理演算法，進而得出目標物體相對攝像頭的二維座標距離。

2     預處理

對攝像頭獲取的圖片進行均值濾波處理，目的是抑制電氣元件或者環境因素引起的噪聲。濾波也叫平滑處理，濾波的目的是抑制噪聲，平滑濾波屬於低頻增強空間濾波技術，因為影象的能量大部分集中在幅度譜的低中頻，噪聲一般存在於高頻段。

在本系統中主要採用均值濾波演算法，也叫鄰域平均演算法。領域平均演算法的基本思想是對含噪聲影象的每一個畫素點f(x,y)取領域S，用領域S中所包含的畫素灰度平均值來代替該點的灰度值。

領域平均法的優點是處理方法簡計算速度快，缺點是在降低噪聲的同時是影象產生一定程度的模糊，領域半徑越大，去噪效果越好，但影象越模糊。

因此，本系統採用3 X 3模板h，其轉置矩陣為：1/9 [1,1,1 ; 1,1,1 ; 1,1,1]，設f(x,y)為原影象的每一個畫素值，g(x,y)為輸出影象對應的每一個畫素值，則均值濾波核心演算法為原影象的每一個畫素（除影象邊緣畫素）和3 X 3模板h進行卷積運算得出輸出影象。

 圖一 灰度圖                 

圖二 均值濾波                           

3     識別

對於目標物體的識別，本系統是採用Canny邊緣檢測找出所有可能的邊緣資訊，然後對邊緣資訊進行提取和分析，進而識別出目標物體。與該目標物體的識別還有一種方法是採用閾值演算法分割出特定灰度值範圍內的物體，但該演算法受光照影響較大，而邊緣檢測受光照影響較少，因此Canny採用邊緣檢測演算法。

3.1目標物體

對目標物體的設計，我採用了外面六邊形，裡面五邊形，六邊形與五邊形之間黑色填充，其餘白色填充，六邊形與五邊形中心基本上一致。如下圖所示

 圖三列印的目標物體

 3.2 Canny邊緣檢測

邊緣檢測的演算法只要是基於影象增強的一階和二階導數。Canny邊緣檢測運算元是JohnF.Canny於1986年開發出來的一個多級邊緣檢測演算法。Canny的目標是找到一個最優的邊緣檢測演算法。其具有的優點是：

l  低錯誤性：標識出盡可能多的實際邊緣，同時儘可能地減少噪聲產生的誤報。

l  高定位性：標識出的邊緣要與影象中的實際邊緣儘可能接近

l  最小效應：影象中的邊緣只能標識一次，並且可能存在的影象噪聲不應標識為邊緣

其步驟是，首先使用高斯平滑濾波器卷積降噪，計算梯度幅值和方向，然後進行非極大值抑制，排除非邊緣畫素，僅僅保留了一些細線條，最後滯後閾值。

對上面經過均值濾波的灰度圖進行Canny邊緣檢測。

 圖四 邊緣檢測圖

3.3 輪廓分析

對上面的Canny邊緣檢測得出的資訊運用OpenCV提供的findContours函式邊緣資訊轉化為輪廓資訊，最後再對輪廓進行分析處理，找出目標物體。

圖五 輪廓圖

輪廓分析演算法：遍歷所有輪廓，排除凹輪廓和輪廓面積小於100畫素的輪廓，找出輪廓為逼近六邊形和逼近五邊形的所有輪廓，找出這些逼近六邊形和逼近五邊形輪廓的最小外接矩形，並各提取最小外接矩形的中心（即逼近六邊形和逼近五邊形輪廓中心），若逼近六邊形輪廓的最小外接矩形和逼近五邊形輪廓的最小外接矩形中心基本在同一點（考慮畸變原因，中心點不一定一致），則為目標物體。

3       定位

本系統是採用640*480解析度，20萬畫素的手動調焦的USB攝像頭進行實驗的，該攝像頭廣角較低，畸變不厲害。

定位功能得出的座標是相對於自定義的影象座標原點，在該系統中，定義的原點就是影象中心（320，240）單位為畫素。因此，在攝像頭水平放置的情況下，自定義影象原點即為二維空間上的攝像頭正下方。

定位的基本思想是利用已知目標物體的長度和求出的目標物體的畫素長度，得出畫素的尺寸，再利用畫素尺寸和目標物體在自定義原點的X,Y方向的畫素距離，進而求出目標物體相對水平放置的攝像頭的X,Y方向實際距離。

實驗結果，本實驗是攝像頭距目標物體正上方大約50cm上進行測量的，攝像頭為水平放置。經過多次測量，測出距離與實際距離誤差基本上維持在1cm到2cm之間。如下圖所示：（紅色點為自定義的圖象原點，左上方的Target_X，Target_Y分別為系統測出的目標距原點（攝像頭正下方）的X和Y方向的測出距離。影象上的白色座標系為實際理論距離。

圖六 實驗結果圖

                                                                               圖、實驗情況

1     結束語

該測量系統只在短範圍內測量，實驗還存在誤差。因為該攝像頭本身畸變不大，沒有進行標定，矯正等一系列處理，實驗資料還能接受，但對於廣角大、畸變大的攝像頭，本系統根本無法適用。還有的是，本系統還沒有進行相機姿態估計，因此，對於攝像頭與水平面有一定角度時，誤差會大大增加。

在接下來的時間裡，作者會盡量完善該系統，爭取能用於無人機以及機器人的單目視覺定位系統。

核心程式碼：

//定位函式
void Location(){

	//均值濾波
	blur(gray, gray_blur, Size(3, 3));

	//邊緣檢測提取邊緣資訊
	Canny(gray_blur, dstThreshold, 150, 450);
	imshow("canny邊緣檢測", dstThreshold);
	
	//對邊緣影象提取輪廓資訊
    vector<vector<Point> >contours;
	findContours(dstThreshold, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);
	
	//畫出輪廓
	drawContours(contours_image, contours, -1, Scalar(0, 0, 255));
	imshow("contours", contours_image);

	//畫出定義的原點
	circle(src, Point2f(oriX, oriY), 2, Scalar(0, 0, 255), 3);

	//定義分別逼近六邊形和五邊形的輪廓
	vector< vector<Point> > Contour1_Ok, Contour2_Ok;

	//輪廓分析
	vector<Point> approx;
	for (int i = 0; i < contours.size(); i++){
		approxPolyDP(Mat(contours[i]), approx, cv::arcLength(cv::Mat(contours[i]), true)*0.04, true);

		//去除 小輪廓，只提取凸輪廓
		if (std::fabs(cv::contourArea(contours[i])) < 600 || !cv::isContourConvex(approx))
			continue;

	    //儲存逼近六邊形的輪廓 到 Contour1_Ok
		 if (approx.size() == 6){
			Contour1_Ok.push_back(contours[i]);
		}
	    //儲存逼近五邊形的輪廓 到 Contour2_Ok
		 else if (approx.size() == 5){
			 Contour2_Ok.push_back(contours[i]);
		}

	}

	//對所有符合要求的六邊形，五邊形輪廓進行分析
	//識別出自定義的物體的關鍵是：
	//1.六邊形和五邊形輪廓的最小外接矩形的中心基本在同一點
	//2.六邊形輪廓的最小外接矩形的任一邊長大於五邊形輪廓的最小外接矩形的任一邊長
	for (int i = 0; i < Contour1_Ok.size(); i++){
		for (int j = 0; j < Contour2_Ok.size(); j++){
			RotatedRect minRect1 = minAreaRect(Mat(Contour1_Ok[i]));  //六邊形輪廓的最小外接矩形
			RotatedRect minRect2 = minAreaRect(Mat(Contour2_Ok[j]));  //五邊形輪廓的最小外界矩形
			//找出符合要求的輪廓的最小外接矩形
			if ( fabs(minRect1.center.x - minRect2.center.x) < 30 && fabs(minRect1.center.y - minRect2.center.y)<30 && minRect1.size.width > minRect2.size.width){
				Point2f vtx[4];
				minRect1.points(vtx);
				
				//畫出找到的物體的最小外接矩形
				for (int j = 0; j < 4; j++)
					line(src, vtx[j], vtx[(j + 1) % 4], Scalar(0, 0, 255), 2, LINE_AA);

				//畫出目標物中心到影象原點的直線
				line(src, minRect1.center, Point2f(oriX, oriY), Scalar(0, 255, 0), 1, LINE_AA);

				//目標物距影象原點的X,Y方向的畫素距離
				targetImage_X = minRect1.center.x - oriX;
				targetImage_Y = oriY - minRect1.center.y;

				line(src, minRect1.center, Point2f(minRect1.center.x, oriY), Scalar(255, 0, 0), 1, LINE_AA);
				line(src, Point2f(oriX, oriY), Point2f(minRect1.center.x, oriY), Scalar(255, 0, 0), 1, LINE_AA);

                Point2f pointX((oriX + minRect1.center.x) / 2, oriY);
				Point2f pointY(minRect1.center.x, (oriY + minRect1.center.y) / 2);  
		
		        //找出最大邊
				float a = minRect1.size.height, b = minRect1.size.width;
				if (a < b) a = b;
				
				mm_per_pixel = targetLength / a;               //計算畫素尺寸 = 目標物的實際長度（cm）/ 目標物在影象上的畫素長度（pixels）
				targetActualX = mm_per_pixel *targetImage_X;   //計算實際距離X（cm）
				targetActualY = mm_per_pixel *targetImage_Y;   //計算實際距離Y（cm）

				//列印資訊在圖片上
				String text1 = "X:"+format("%f", targetImage_X);
				String text2 = "Y:"+format("%f", targetImage_Y);
				putText(src, text1, pointX, FONT_HERSHEY_SIMPLEX, 0.4, Scalar(0, 0, 255), 1, 8);
				putText(src, text2, pointY, FONT_HERSHEY_SIMPLEX, 0.4, Scalar(0, 0, 255), 1, 8);

				String text3 = "Target_X:"+format("%f", targetActualX);
				String text4 = "Target_Y:"+format("%f", targetActualY);
				putText(src, text3, Point(10,30), FONT_HERSHEY_SIMPLEX, 0.7, Scalar(0, 0, 255), 1, 8);
				putText(src, text4, Point(10,60), FONT_HERSHEY_SIMPLEX, 0.7, Scalar(0, 0, 255), 1, 8);

				
			}
			break;
		}       
        break;
	}

	imshow("SRC", src);

}

完整程式碼