1. 程式人生 > >Opencv之HOG特徵與SVM相結合的人體檢測(增加自舉法)

Opencv之HOG特徵與SVM相結合的人體檢測(增加自舉法)

Hello~洛基在上一篇關於人體檢測的文章末尾提到了自舉法,這裡科普一下,所謂自舉法,即在一個容量為n的原始樣本中重複抽取一系列容量也是n的隨機樣本,並保證每次抽樣中每一樣本觀察值被抽取的概率都為1/n。好像不是很通俗易懂,說人話就是——應用於行人檢測中的自舉方法是,對於訓練好的HOG檢測器,將原來進行訓練的負樣本當做檢測樣本,利用檢測器進行檢測,檢測出來的影象必定是不包含人體的樣本,這些不包含人體的樣本集合便成為了自舉訓練樣本,將自舉訓練樣本處理之後重新作為負樣本,輸入到SVM中進行再一次訓練,如此一來得到的檢測器會“進化”為錯檢率更低的進化版檢測器。

Of course,自舉訓練可以進行多次,這樣分類的效果可能會更好,不過也不排除,在進行了多次自舉訓練之後,檢測器出現大量漏檢情況哦- -所以自舉訓練的次數,可能並不是越多越好,這是我在進行試驗的小總結(認真臉)。

Okay進入正題,也就是程式碼部分。

#include <iostream>
#include <fstream>
#include <string>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/objdetect/objdetect.hpp>
#include <opencv2/ml/ml.hpp>

using namespace std;
using namespace cv;

#define str "E:\\INRIAPerson\\HardExample\\"
int hardExampleCount = 0;

//因為在生成setSVMDetector中用到的檢測子引數時要用到訓練好的SVM的decision_func的protected型別引數alpha和rho,故只能通過繼承之後利用函式訪問了
class MySVM : public CvSVM
{
	public:
		//獲得SVM的決策函式中的alpha陣列
		double * get_alpha_vector()
		{
			return this->decision_func->alpha;
		}

		//獲得SVM的決策函式中的rho引數,即偏移量
		float get_rho()
		{
			return this->decision_func->rho;
		}
};
int main()
{
	Mat src;
	char saveName[256];//剪裁出來的hard example圖片的檔名
	string ImgName;
	//ifstream fin_detector("HOGDetectorParagram.txt");
	ifstream fin_imgList("neg.txt");//開啟原始負樣本圖片檔案列表
        //每次在載入計算好的HOG描述子,然後設定SVM檢測器時,都會報錯——Assertion failed checkDetectorSize。令人抓狂的一個錯誤
        //於是只能每次都重新根據訓練好的SVM.xml,計算HOG描述子,然後再設定SVM檢測器了。這個問題留到後面再解決!

	cout<<"載入訓練好的SVM分類器"<<endl;
	int DescriptorDim;//特徵向量維數,即HOG描述子的維數
	MySVM svm;
	svm.load("SVM_HOG.xml");
	DescriptorDim = svm.get_var_count();
	cout<<"描述子維數:"<<DescriptorDim<<endl;
	int supportVectorNum = svm.get_support_vector_count();//支援向量的個數
	cout<<"支援向量個數:"<<supportVectorNum<<endl;

	//Mat alphaMat = Mat::zeros(1, supportVectorNum, CV_32FC1);//alpha向量,長度等於支援向量個數
	Mat alphaMat = Mat::zeros(1, supportVectorNum, CV_32FC1);
	Mat supportVectorMat = Mat::zeros(supportVectorNum, DescriptorDim, CV_32FC1);//支援向量矩陣
	Mat resultMat = Mat::zeros(1, DescriptorDim, CV_32FC1);//alpha向量乘以支援向量矩陣的結果

	//將支援向量的資料複製到supportVectorMat矩陣中,共有supportVectorNum個支援向量,每個支援向量的資料有DescriptorDim維(種)
	for(int i=0; i<supportVectorNum; i++)
	{
		const float * pSVData = svm.get_support_vector(i);//返回第i個支援向量的資料指標
		for(int j=0; j<DescriptorDim; j++)
			supportVectorMat.at<float>(i,j) = pSVData[j];//第i個向量的第j維資料
	}

	//將alpha向量的資料複製到alphaMat中
	//double * pAlphaData = svm.get_alpha_vector();//返回SVM的決策函式中的alpha向量
	double * pAlphaData = svm.get_alpha_vector();
	for(int i=0; i<supportVectorNum; i++)
	{
		alphaMat.at<float>(0,i) = pAlphaData[i];//alpha向量,長度等於支援向量個數
	}

	//計算-(alphaMat * supportVectorMat),結果放到resultMat中
	resultMat = -1 * alphaMat * supportVectorMat;//上一篇博文中有解釋為什麼是負號,這裡不贅述

	//得到最終的setSVMDetector(const vector<float>& detector)引數中可用的檢測子
	vector<float> myDetector;
	//將resultMat中的資料複製到陣列myDetector中
	for(int i=0; i<DescriptorDim; i++)
	{
		myDetector.push_back(resultMat.at<float>(0,i));
	}
	myDetector.push_back(svm.get_rho());//最後新增偏移量rho,得到檢測子
	cout<<"檢測子維數:"<<myDetector.size()<<endl;
	//設定HOGDescriptor的檢測子
	HOGDescriptor hog(Size(64,128),Size(16,16),Size(8,8),Size(8,8),9);
	hog.setSVMDetector(myDetector);



	//從檔案中讀入自己訓練的SVM引數
	//float temp;
	//vector<float> myDetector;//自己的檢測器陣列
	//while(!fin_detector.eof())
	//{
		//fin_detector >> temp;
		//myDetector.push_back(temp);
	//}
	//cout<<"檢測子維數:"<<myDetector.size()<<endl;
	//設定檢測器引數為自己訓練的SVM引數
	//HOGDescriptor hog;
	//hog.setSVMDetector(myDetector);//上面說過了,如果直接讀入之前儲存好的HOG描述子txt檔案,會一直報錯= =no idea to solve it



	while(getline(fin_imgList,ImgName))
	{
		cout<<"處理:"<<ImgName<<endl;
		string fullName = "E:\\INRIAPerson\\Negjpg_undesign\\" + ImgName;
		src = imread(fullName);
		Mat img = src.clone();

		vector<Rect> found;
		hog.detectMultiScale(src, found, 0, Size(8,8),Size(32,32), 1.05, 2);
		//處理得到的矩形框
		for(int i=0; i < found.size(); i++)
		{
			//將矩形框輪廓限定在影象內部,r的x、y座標是相對於源影象src來定義的
			Rect r = found[i];
			if(r.x < 0)
				r.x = 0;
			if(r.y < 0)
				r.y = 0;
			if(r.x + r.width > src.cols)
				r.width = src.cols - r.x;
			if(r.y + r.height > src.rows)
				r.height = src.rows - r.y;

			//將矩形框框出的圖片儲存為難例
			Mat hardExampleImg = src(r);//從原圖上擷取矩形框大小的圖片
			resize(hardExampleImg,hardExampleImg,Size(64,128));//將剪裁出來的圖片縮放為64*128大小
			sprintf(saveName,"hardexample%09d.jpg",hardExampleCount++);//生成hard example圖片的檔名
			imwrite(saveName, hardExampleImg);//儲存框出的圖片部分,這裡沒辦法新增一個路徑名稱,所以全部儲存在VS專案裡了,好亂= =

			//畫矩形框,因為hog檢測出的矩形框比實際人體框要稍微大些,所以這裡需要做一些調整
			r.x += cvRound(r.width*0.1);
			r.width = cvRound(r.width*0.8);
			rectangle(img, r.tl(), r.br(), Scalar(0,255,0), 2);
		}
		imwrite(str+ImgName,img);//將處理過的影象儲存下來,這裡儲存的就是原始負樣本加上各種框框之後的結果圖片
		imshow("src",src);
		waitKey(20);
	}
	system("pause");
}

這個是經過自舉法之後得到的新檢測器的成果,是不是很Duang Duang Duang?來對比一下沒有通過自舉法得到的檢測結果:

其實我只利用了一次自舉訓練,便得到了以上的良好檢測效果,因為檢測的正負樣本基數不夠大,所以不敢進行多次自舉訓練,擔心會造成大量漏檢。最後值得一提的是,利用原始1000多張負樣本進行自舉檢測,竟然得到了7000+張新的負樣本,這說明原來的檢測器檢測效果堪憂。。。不過好在擁有了自舉訓練這個關鍵的idea,使得我們的檢測器功能優化了很多~

Last but not least,洛基祝大家新年快樂!大家在刻苦敲程式碼的同時也別忘了去鍛鍊身體哦!現在是成都時間2017年1月3日凌晨12點38分

Nighty night~ :-D