2. 程式人生 > >OpenCv-C++-平面物件識別(接FLANN特徵匹配)

OpenCv-C++-平面物件識別(接FLANN特徵匹配)

阿新 • • 發佈：2018-12-23

本文接著上篇FLANN特徵匹配，從上篇可以知道，如果特徵匹配時全部是用線進行匹配，那麼真的讓人看著很窩心。那麼，可不可以把匹配到的結果用矩形或圓表示出來呢？當然可以，這就是平面物件識別。是上一章節的更進一步。這裡主要用到兩個新的API：
1、findHomography（） ------>發現兩個平面的透視變幻，生成透視變換矩陣
2、perspectiveTransform() ---------->透視變換
因為拍攝的照片因為角度問題而導致輪廓可能是這樣的：
在這裡插入圖片描述

這是上一章的程式碼，與上一章毫無差別：
現在通過透視變換變成這樣子：
在這裡插入圖片描述

#include<opencv2/opencv.hpp>
#include<iostream>
#include<opencv2/xfeatures2d.hpp>
#include<math.h>

using namespace cv;
using namespace std;
using namespace cv::xfeatures2d;

//檢測計算和繪製時，最好將源圖(img1)在前面，目標影象(img2)在後面
Mat img1, img2;
int main(int argc, char**argv)
{
	img1 = imread("D:/test/box.png", 0);
	img2 = imread("D:/test/box_in_scene.png", 0);


	if (!img1.data || !img2.data)
	{
		cout << "圖片為空！" << endl;
		return -1;
	}
	int minHesssion = 400;
	Ptr<SURF> detector = SURF::create(minHesssion);   //也可以用SIRF，但是效率比SURF低
	vector<KeyPoint> keypoints_obj;         //存放img1的特徵值
	vector<KeyPoint> keypoints_scene;    //存放img2的特徵值
	Mat descript_obj, descript_scene;
	detector->detectAndCompute(img1, Mat(), keypoints_obj, descript_obj);  //檢測並計算特徵描述子
	detector->detectAndCompute(img2, Mat(), keypoints_scene, descript_scene);

	FlannBasedMatcher fbmatcher;
	vector<DMatch>matches;
	fbmatcher.match(descript_obj, descript_scene, matches); //特徵描述子匹配

	//找出最優特徵點
	double minDist = 1000;    //初始化最大最小距離
	double maxDist = 0;

	for (int i = 0; i < descript_obj.rows; i++)
	{
		double dist = matches[i].distance;
		if (dist > maxDist)
		{
			maxDist = dist;
		}
		if (dist < minDist)
		{
			minDist = dist;
		}
	}
	printf("maxDist:%f\n", maxDist);
	printf("minDist:%f\n", minDist);

	vector<DMatch> goodMatches;
	for (int i = 0; i < descript_obj.rows; i++)
	{
		double dist = matches[i].distance;
		if (dist < max(3 * minDist, 0.02)) {
			goodMatches.push_back(matches[i]);
		}
	}
	Mat resultImg;
	drawMatches(img1, keypoints_obj, img2, keypoints_scene, goodMatches, resultImg, Scalar::all(-1),
		Scalar::all(-1), vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS
	);


	imshow("input image1", img1);
	imshow("input image2", img2);
	imshow("FlannBasedMatcher demo", resultImg);

接著上面的程式碼寫平面物件識別的程式碼：
主要用到的API的表現程式碼：
findHomography（）：

//生成透視變換矩陣
	vector<Point2f> obj;
	vector<Point2f> objinscene;
	for (size_t i = 0; i < goodMatches.size(); i++)
	{
		obj.push_back(keypoints_obj[goodMatches[i].queryIdx].pt);            // queryIdx:是測試影象(源影象)的特徵點描述符（descriptor）的下標，同時也是描述符對應特徵點（keypoint)的下標。
		objinscene.push_back(keypoints_scene[goodMatches[i].trainIdx].pt);  //trainIdx:是樣本影象(目標影象)的特徵點描述符的下標，同樣也是相應的特徵點的下標。
	}
	Mat H = findHomography(obj, objinscene, RANSAC);     //生成透視變換矩陣

perspectiveTransform（）：

vector<Point2f> obj_corner(4);//源圖片4個角的座標
	vector<Point2f> objinscene_corner(4);

	obj_corner[0] = Point(0, 0);                   //左上角(第一點)座標
	obj_corner[1] = Point(img1.cols, 0);          //右上角(第二點)座標
	obj_corner[2] = Point(img1.cols, img1.rows); //右下角(第三點)座標
	obj_corner[3] = Point(0, img1.rows);        //坐下角(第四點)座標

	//------------------透視變換---------------------
	perspectiveTransform(obj_corner, objinscene_corner, H);

接下來將透視變換後獲取到的4個角點用線連線起來（這裡畫矩形）：

cvtColor(img2, dst, COLOR_GRAY2BGR);
	line(resultImg, objinscene_corner[0] + Point2f(img1.cols, 0), objinscene_corner[1] + Point2f(img1.cols, 0), Scalar(0, 0, 255), 2, 8, 0);
	line(resultImg, objinscene_corner[1] + Point2f(img1.cols, 0), objinscene_corner[2] + Point2f(img1.cols, 0), Scalar(0, 0, 255), 2, 8, 0);
	line(resultImg, objinscene_corner[2] + Point2f(img1.cols, 0), objinscene_corner[3] + Point2f(img1.cols, 0), Scalar(0, 0, 255), 2, 8, 0);
	line(resultImg, objinscene_corner[3] + Point2f(img1.cols, 0), objinscene_corner[0] + Point2f(img1.cols, 0), Scalar(0, 0, 255), 2, 8, 0);

為什麼要 + Point2f(img1.cols, 0)？因為FLANN特徵匹配顯示的圖片是這樣的：
在這裡插入圖片描述

下面貼上所有原始碼：

#include<opencv2/opencv.hpp>
#include<iostream>
#include<opencv2/xfeatures2d.hpp>
#include<math.h>

using namespace cv;
using namespace std;
using namespace cv::xfeatures2d;

//檢測計算和繪製時，最好將源圖(img1)在前面，目標影象(img2)在後面
Mat img1, img2;
int main(int argc, char**argv)
{
	img1 = imread("D:/test/box.png", 0);
	img2 = imread("D:/test/box_in_scene.png", 0);


	if (!img1.data || !img2.data)
	{
		cout << "圖片為空！" << endl;
		return -1;
	}
	int minHesssion = 400;
	Ptr<SURF> detector = SURF::create(minHesssion);   //也可以用SIRF，但是效率比SURF低
	vector<KeyPoint> keypoints_obj;         //存放img1的特徵值
	vector<KeyPoint> keypoints_scene;    //存放img2的特徵值
	Mat descript_obj, descript_scene;
	detector->detectAndCompute(img1, Mat(), keypoints_obj, descript_obj);  //檢測並計算特徵描述子
	detector->detectAndCompute(img2, Mat(), keypoints_scene, descript_scene);

	FlannBasedMatcher fbmatcher;
	vector<DMatch>matches;
	fbmatcher.match(descript_obj, descript_scene, matches); //特徵描述子匹配

	//找出最優特徵點
	double minDist = 1000;    //初始化最大最小距離
	double maxDist = 0;

	for (int i = 0; i < descript_obj.rows; i++)
	{
		double dist = matches[i].distance;
		if (dist > maxDist)
		{
			maxDist = dist;
		}
		if (dist < minDist)
		{
			minDist = dist;
		}
	}
	printf("maxDist:%f\n", maxDist);
	printf("minDist:%f\n", minDist);

	vector<DMatch> goodMatches;
	for (int i = 0; i < descript_obj.rows; i++)
	{
		double dist = matches[i].distance;
		if (dist < max(3 * minDist, 0.02)) {
			goodMatches.push_back(matches[i]);
		}
	}
	Mat resultImg;
	drawMatches(img1, keypoints_obj, img2, keypoints_scene, goodMatches, resultImg, Scalar::all(-1),
		Scalar::all(-1), vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS
	);


	imshow("input image1", img1);
	imshow("input image2", img2);
	imshow("FlannBasedMatcher demo", resultImg);

	//-------------------上面部分是FLANN特徵匹配的內容--------------------------

	//-------------------平面物件識別(將匹配到的內容替換為矩形)--------------------------
	//生成透視變換矩陣
	vector<Point2f> obj;
	vector<Point2f> objinscene;
	for (size_t i = 0; i < goodMatches.size(); i++)
	{
		obj.push_back(keypoints_obj[goodMatches[i].queryIdx].pt);            // queryIdx:是測試影象(源影象)的特徵點描述符（descriptor）的下標，同時也是描述符對應特徵點（keypoint)的下標。
		objinscene.push_back(keypoints_scene[goodMatches[i].trainIdx].pt);  //trainIdx:是樣本影象(目標影象)的特徵點描述符的下標，同樣也是相應的特徵點的下標。
	}
	Mat H = findHomography(obj, objinscene, RANSAC);     //生成透視變換矩陣

	vector<Point2f> obj_corner(4);//源圖片4個角的座標
	vector<Point2f> objinscene_corner(4);

	obj_corner[0] = Point(0, 0);                   //左上角(第一點)座標
	obj_corner[1] = Point(img1.cols, 0);          //右上角(第二點)座標
	obj_corner[2] = Point(img1.cols, img1.rows); //右下角(第三點)座標
	obj_corner[3] = Point(0, img1.rows);        //坐下角(第四點)座標

	//------------------透視變換---------------------
	perspectiveTransform(obj_corner, objinscene_corner, H);
	//繪製線
	Mat dst;
	cvtColor(img2, dst, COLOR_GRAY2BGR);
	line(resultImg, objinscene_corner[0] + Point2f(img1.cols, 0), objinscene_corner[1] + Point2f(img1.cols, 0), Scalar(0, 0, 255), 2, 8, 0);
	line(resultImg, objinscene_corner[1] + Point2f(img1.cols, 0), objinscene_corner[2] + Point2f(img1.cols, 0), Scalar(0, 0, 255), 2, 8, 0);
	line(resultImg, objinscene_corner[2] + Point2f(img1.cols, 0), objinscene_corner[3] + Point2f(img1.cols, 0), Scalar(0, 0, 255), 2, 8, 0);
	line(resultImg, objinscene_corner[3] + Point2f(img1.cols, 0), objinscene_corner[0] + Point2f(img1.cols, 0), Scalar(0, 0, 255), 2, 8, 0);


	//也可以將匹配到的結果單獨拉出來
	line(dst, objinscene_corner[0] , objinscene_corner[1] , Scalar(0, 0, 255), 2, 8, 0);
	line(dst, objinscene_corner[1], objinscene_corner[2] , Scalar(0, 0, 255), 2, 8, 0);
	line(dst, objinscene_corner[2] , objinscene_corner[3] , Scalar(0, 0, 255), 2, 8, 0);
	line(dst, objinscene_corner[3] , objinscene_corner[0] , Scalar(0, 0, 255), 2, 8, 0);

	imshow("perspectiveTransform demo", resultImg);
	imshow("single perspectiveTransform demo", dst);

	waitKey(0);
	return 0;


}

最後的結果是這樣的：
在這裡插入圖片描述

在這裡插入圖片描述

注意：這裡為了更好地匹配到物件，
vector<DMatch> goodMatches; for (int i = 0; i < descript_obj.rows; i++) { double dist = matches[i].distance; if (dist < max(3 * minDist, 0.02)) { goodMatches.push_back(matches[i]); } }中的 “3”可以取得稍微大一點，如果取小了，比如說：

vector<DMatch> goodMatches;
	for (int i = 0; i < descript_obj.rows; i++)
	{
		double dist = matches[i].distance;
		if (dist < max(2 * minDist, 0.02)) {
			goodMatches.push_back(matches[i]);
		}
	}

那麼結果就會變成這樣：
在這裡插入圖片描述

在這裡插入圖片描述

結果就會變得不夠精準，當然了，還是要適當問題適當分析。跟上一章一樣，特徵點變少了，結果當然就不準了，特徵點稍微多一點，結果就會更精準一點，但也不能太多，不然就變成跟“暴力匹配”一樣了…

這裡對for (size_t i = 0; i < goodMatches.size(); i++) { obj.push_back(keypoints_obj[goodMatches[i].queryIdx].pt); // queryIdx:是測試影象(源影象)的特徵點描述符（descriptor）的下標，同時也是描述符對應特徵點（keypoint)的下標。 objinscene.push_back(keypoints_scene[goodMatches[i].trainIdx].pt); //trainIdx:是樣本影象(目標影象)的特徵點描述符的下標，同樣也是相應的特徵點的下標。 }中的引數做一下說明：

1、int queryIdx –>是測試影象的特徵點描述符（descriptor）的下標，同時也是描述符對應特徵點（keypoint)的下標。

2、int trainIdx –> 是樣本影象的特徵點描述符的下標，同樣也是相應的特徵點的下標。

3、int imgIdx –>當樣本是多張影象的話有用。

4、float distance –>代表這一對匹配的特徵點描述符（本質是向量）的歐氏距離，數值越小也就說明兩個特徵點越相像。

最後，
也就是一個小於操作符的過載，用於比較和排序。 比較的是上述的distance，當然是越小越好。
引數說明參考文章：https://blog.csdn.net/qq_23845067/article/details/51926856

相關推薦

OpenCv-C++-平面物件識別(接FLANN特徵匹配)

本文接著上篇FLANN特徵匹配，從上篇可以知道，如果特徵匹配時全部是用線進行匹配，那麼真的讓人看著很窩心。那麼，可不可以把匹配到的結果用矩形或圓表示出來呢？當然可以，這就是平面物件識別。是上一章節的更進一步。這裡主要用到兩個新的API： 1、findHomography（） ------&g

OpenCv-C++-FLANN特徵匹配演算法

FLANN(快速最近鄰逼近搜尋函式庫)，它是一個演算法庫，包含一系列演算法庫，OpenCv中集成了FLANN的一部分匹配演算法，主要對高維資料搜尋比較快。 相比於上一篇的暴力匹配演算法，FLANN更加精確，不會有過多的描述特徵匹配到。 匹配基本步驟： 檢測->提取->計算得到描述

C++面向物件的四個特徵

面向物件的四個特徵分別為：抽象，封裝，繼承，多型 抽象 抽象是我們認識事物的方法。在我們的程式設計過程中，我們可以把顯示生活中的物體，在程式碼中抽象成為一個類來使用。抽象分為資料抽象和方法抽象。就像我們現實生活中的冰箱為例，它有什麼樣子的屬性？大小，重量，形狀等等。它有什麼樣子的方

OpenCV學習筆記[5]FLANN特徵匹配

OpenCV學習筆記：FLANN特徵匹配         本次給出FLANN特徵匹配的Java實現。 [簡介]         特徵匹配記錄下目標影象與待匹配影象的特徵點（KeyPoint），並根據特徵點集合構造特徵量（descriptor），對這個特徵量進行比較、篩選，

Opencv+C++之身份證識別（一）

五月份各種課程，也是最後一個學期了，所以就沒有跟大家分享自己的一些所學。現在課程終於結束了，即將開始下一階段的專案開發，所以趁這個間隙把前段時間做的一些東西做一個總結吧。 言歸正傳，對各種證件的識別系統大家都不陌生，尤其是對車牌號的識別已經應用到我們生活的很多方面，例如小區攝像頭對入庫車輛車牌的識別，高速收

使用opencv作物件識別（一） —— 積分直方圖加速HOG特徵計算

使用opencv作物件識別（一） —— 積分直方圖加速HOG特徵計算 方向梯度直方圖（Histograms of Oriented Gradients，簡稱HOG特徵）結合支援向量機（ support vector machine， 簡稱SVM），被廣泛應用於影象識別中，尤

0052-OpenCV下使用FLANN加速特徵匹配的檢索

當用相關演算法檢測到兩幅圖的特徵點後，我們一般要進行匹配操作，一般的搜尋方法因為資料量大而造成時間的開銷大，這個時候，如果使用FLANN(即Fast Approximate Nearest Neighbor Search Library),會減小不少運算量。相關的原理大家請大家參考相關資料，這裡給出

OpenCv-C++-HOG特徵檢測演算法

HOG主要是用來做行人檢測的，HOG方法是基於對稠密網格中歸一化的區域性方向梯度直方圖的計算。此方法的基本觀點是：區域性目標的外表和形狀可以被區域性梯度或邊緣方向的分佈很好的描述，即使我們不知道對應的梯度和邊緣的位置。在實際操作中，將影象分為小的元胞(cells)，在每個元胞內累加計算出一維

OpenCv-C++-SIFT特徵檢測

引用及參考部落格：https://blog.csdn.net/lyl771857509/article/details/79675137 1、SIFT綜述 尺度不變特徵轉換(Scale-invariant feature transform或SIFT)是一種電腦視覺的演算法用來偵測與描述影像

OpenCv-C++-SURF特徵檢測

SURF採用的是Hessian矩陣（SURF演算法核心）行列式近似值影象。SURF（加速版的具有魯棒性的特徵，SpeededUp Robust Features），SURF是尺度不變特徵變換演算法（SIFT演算法）的加速版。SURF最大的特徵在於採用了harr特徵以及積分影象的概念。 而He

opencv C++實現呼叫攝像頭動態識別人臉

前言 此章是https://my.oschina.net/mistylinux/blog/2963544 的C++版 #include <iostream> #include <opencv2/core/core.hpp> #include <opencv2/highgui/

OpenCv-C++-小案例實戰-物件提取

現在比如說我有這麼一張圖： 我想要從中提取出"圓"的部分，那該怎麼做呢？用霍夫圓變換？No，萬一它不是一個標準的圓呢？所以，這裡採用輪廓發現的方法來查詢"圓"。 解決思路: 1、二值化； 2、形態學操作（開運算+閉運算）； 3、輪廓點查詢； 4、座標查詢。 首先將影象進行二值化，輪

OpenCv-C++-LBP特徵檢測

什麼是LBP？它是一種用來描述影象區域性紋理特徵的運算元，英文叫做“Local Binary Pattern”，區域性二值模式。 它具有旋轉不變性，灰度不變性和光照強度不變性等優點。特別是光照強度不變性這一點，如果一張圖片在光照很強的畫面裡特徵物體根本無法識別，LBP就能很好的檢測到物體

OpenCv-C++-ORB特徵檢測與匹配

影象的特徵點可以簡單的理解為影象中比較顯著顯著的點，如輪廓點，較暗區域中的亮點，較亮區域中的暗點等。 ORB的全稱是ORiented Brief，採用FAST（features from accelerated segment test）演算法來檢測特徵點。 與Brisk，AKAZE

OpenCv-C++-BRISK特徵檢測與匹配

BRISK：Binary Robust Invariant Scalable Keypoints。它是一種二進位制的特徵描述運算元。它具有較好的旋轉不變性、尺度不變性，較好的魯棒性等。在對有較大模糊的影象配準時，BRISK演算法在其中表現最為出色。 演算法原理參考下面這篇文章，其中的表達

OpenCv-C++-KAZE(AKAZE)區域性特徵匹配（二）

上一篇已經做出了KAZE(AKAZE)區域性特徵的檢測，就差匹配沒有做到。 那麼，現在來實現一下： 放上程式碼： #include<opencv2/opencv.hpp> #include<iostream> #include<math.h> u

OpenCv-C++-KAZE(AKAZE)區域性特徵檢測（一）

KAZE與AKAZE都是OpenCv中整合的API演算法，AKAZE是KAZE的加速版本（A表示Accelerated(加速的)）。且AKAZE的執行效率要優於KAZE。 與SURF和SIFT不同(基於線性)，KAZE(AKAZE)是基於非線性插值的方法，這一點在影象處理方面來說確實比SUR

OpenCv-C++-特徵描述子（BruteForce（暴力匹配））

本片文主要是通過BFMatcher()來進行特徵匹配，暴力匹配就是在一個數組或連結串列裡面進行一一查詢，迴圈匹配。如下圖： 通過SURF運算元分別找到兩張影象的特徵點，再使用BFMatcher函式對兩張影象上的特徵點進行一一檢測和計算，最後通過drawMatches函式繪製兩張影象之間

OpenCv-C++-Harr特徵(原理)

** Harr特徵介紹（Harr Like Feature） ** 1、高類間變異性 每個特徵之間差別很大 2、低類內變異性 每個特徵之間差別很小，幾乎能夠達到吻合的狀態 3、區域性強度差 基於區域性強度差做檢測（可以理解成對比度） 4、不同尺度 多層多尺度，建立多尺度的Harr特徵

關於C#面向物件三個特徵:繼承,封裝,多型的說明

封裝(Encapsulation):封裝是一個面向物件的概念,對外部世界,隱藏類的內部. 封裝優點: 1.好的封裝能減少耦合. 2.類的內部的實現可以自由改變. 3.一個類有更清楚的介面. Data Hiding(資料隱藏):封裝的一個最有用的形式是資料隱藏.一個類的資料表現一個