自己訓練SVM分類器進行HOG行人檢測
正樣本來源是INRIA資料集中的96*160大小的人體圖片,使用時上下左右都去掉16個畫素,擷取中間的64*128大小的人體。
SVM使用的是OpenCV自帶的CvSVM類。
首先計算正負樣本影象的HOG描述子,組成一個特徵向量矩陣,對應的要有一個指定每個特徵向量的類別的類標向量,輸入SVM中進行訓練。
訓練好的SVM分類器儲存為XML檔案,然後根據其中的支援向量和引數生成OpenCV中的HOG描述子可用的檢測子引數,再呼叫OpenCV中的多尺度檢測函式進行行人檢測。
難例(Hard Example)是指利用第一次訓練的分類器在負樣本原圖(肯定沒有人體)上進行行人檢測時所有檢測到的矩形框,這些矩形框區域很明顯都是誤報,把這些誤報的矩形框儲存為圖片,加入到初始的負樣本集合中,重新進行SVM的訓練,可顯著減少誤報。
#include <iostream> #include <fstream> #include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/imgproc/imgproc.hpp> #include <opencv2/objdetect/objdetect.hpp> #include <opencv2/ml/ml.hpp> using namespace std; using namespace cv; #define PosSamNO 2400 //正樣本個數 #define NegSamNO 12000 //負樣本個數 #define TRAIN false //是否進行訓練,true表示重新訓練,false表示讀取xml檔案中的SVM模型 #define CENTRAL_CROP true //true:訓練時,對96*160的INRIA正樣本圖片剪裁出中間的64*128大小人體 //HardExample:負樣本個數。如果HardExampleNO大於0,表示處理完初始負樣本集後,繼續處理HardExample負樣本集。 //不使用HardExample時必須設定為0,因為特徵向量矩陣和特徵類別矩陣的維數初始化時用到這個值 #define HardExampleNO 4435 //繼承自CvSVM的類,因為生成setSVMDetector()中用到的檢測子引數時,需要用到訓練好的SVM的decision_func引數, //但通過檢視CvSVM原始碼可知decision_func引數是protected型別變數,無法直接訪問到,只能繼承之後通過函式訪問 class MySVM : public CvSVM { public: //獲得SVM的決策函式中的alpha陣列 double * get_alpha_vector() { return this->decision_func->alpha; } //獲得SVM的決策函式中的rho引數,即偏移量 float get_rho() { return this->decision_func->rho; } }; int main() { //檢測視窗(64,128),塊尺寸(16,16),塊步長(8,8),cell尺寸(8,8),直方圖bin個數9 HOGDescriptor hog(Size(64,128),Size(16,16),Size(8,8),Size(8,8),9);//HOG檢測器,用來計算HOG描述子的 int DescriptorDim;//HOG描述子的維數,由圖片大小、檢測視窗大小、塊大小、細胞單元中直方圖bin個數決定 MySVM svm;//SVM分類器 //若TRAIN為true,重新訓練分類器 if(TRAIN) { string ImgName;//圖片名(絕對路徑) ifstream finPos("INRIAPerson96X160PosList.txt");//正樣本圖片的檔名列表 //ifstream finPos("PersonFromVOC2012List.txt");//正樣本圖片的檔名列表 ifstream finNeg("NoPersonFromINRIAList.txt");//負樣本圖片的檔名列表 Mat sampleFeatureMat;//所有訓練樣本的特徵向量組成的矩陣,行數等於所有樣本的個數,列數等於HOG描述子維數 Mat sampleLabelMat;//訓練樣本的類別向量,行數等於所有樣本的個數,列數等於1;1表示有人,-1表示無人 //依次讀取正樣本圖片,生成HOG描述子 for(int num=0; num<PosSamNO && getline(finPos,ImgName); num++) { cout<<"處理:"<<ImgName<<endl; //ImgName = "D:\\DataSet\\PersonFromVOC2012\\" + ImgName;//加上正樣本的路徑名 ImgName = "D:\\DataSet\\INRIAPerson\\INRIAPerson\\96X160H96\\Train\\pos\\" + ImgName;//加上正樣本的路徑名 Mat src = imread(ImgName);//讀取圖片 if(CENTRAL_CROP) src = src(Rect(16,16,64,128));//將96*160的INRIA正樣本圖片剪裁為64*128,即剪去上下左右各16個畫素 //resize(src,src,Size(64,128)); vector<float> descriptors;//HOG描述子向量 hog.compute(src,descriptors,Size(8,8));//計算HOG描述子,檢測視窗移動步長(8,8) //cout<<"描述子維數:"<<descriptors.size()<<endl; //處理第一個樣本時初始化特徵向量矩陣和類別矩陣,因為只有知道了特徵向量的維數才能初始化特徵向量矩陣 if( 0 == num ) { DescriptorDim = descriptors.size();//HOG描述子的維數 //初始化所有訓練樣本的特徵向量組成的矩陣,行數等於所有樣本的個數,列數等於HOG描述子維數sampleFeatureMat sampleFeatureMat = Mat::zeros(PosSamNO+NegSamNO+HardExampleNO, DescriptorDim, CV_32FC1); //初始化訓練樣本的類別向量,行數等於所有樣本的個數,列數等於1;1表示有人,0表示無人 sampleLabelMat = Mat::zeros(PosSamNO+NegSamNO+HardExampleNO, 1, CV_32FC1); } //將計算好的HOG描述子複製到樣本特徵矩陣sampleFeatureMat for(int i=0; i<DescriptorDim; i++) sampleFeatureMat.at<float>(num,i) = descriptors[i];//第num個樣本的特徵向量中的第i個元素 sampleLabelMat.at<float>(num,0) = 1;//正樣本類別為1,有人 } //依次讀取負樣本圖片,生成HOG描述子 for(int num=0; num<NegSamNO && getline(finNeg,ImgName); num++) { cout<<"處理:"<<ImgName<<endl; ImgName = "D:\\DataSet\\NoPersonFromINRIA\\" + ImgName;//加上負樣本的路徑名 Mat src = imread(ImgName);//讀取圖片 //resize(src,img,Size(64,128)); vector<float> descriptors;//HOG描述子向量 hog.compute(src,descriptors,Size(8,8));//計算HOG描述子,檢測視窗移動步長(8,8) //cout<<"描述子維數:"<<descriptors.size()<<endl; //將計算好的HOG描述子複製到樣本特徵矩陣sampleFeatureMat for(int i=0; i<DescriptorDim; i++) sampleFeatureMat.at<float>(num+PosSamNO,i) = descriptors[i];//第PosSamNO+num個樣本的特徵向量中的第i個元素 sampleLabelMat.at<float>(num+PosSamNO,0) = -1;//負樣本類別為-1,無人 } //處理HardExample負樣本 if(HardExampleNO > 0) { ifstream finHardExample("HardExample_2400PosINRIA_12000NegList.txt");//HardExample負樣本的檔名列表 //依次讀取HardExample負樣本圖片,生成HOG描述子 for(int num=0; num<HardExampleNO && getline(finHardExample,ImgName); num++) { cout<<"處理:"<<ImgName<<endl; ImgName = "D:\\DataSet\\HardExample_2400PosINRIA_12000Neg\\" + ImgName;//加上HardExample負樣本的路徑名 Mat src = imread(ImgName);//讀取圖片 //resize(src,img,Size(64,128)); vector<float> descriptors;//HOG描述子向量 hog.compute(src,descriptors,Size(8,8));//計算HOG描述子,檢測視窗移動步長(8,8) //cout<<"描述子維數:"<<descriptors.size()<<endl; //將計算好的HOG描述子複製到樣本特徵矩陣sampleFeatureMat for(int i=0; i<DescriptorDim; i++) sampleFeatureMat.at<float>(num+PosSamNO+NegSamNO,i) = descriptors[i];//第PosSamNO+num個樣本的特徵向量中的第i個元素 sampleLabelMat.at<float>(num+PosSamNO+NegSamNO,0) = -1;//負樣本類別為-1,無人 } } ////輸出樣本的HOG特徵向量矩陣到檔案 //ofstream fout("SampleFeatureMat.txt"); //for(int i=0; i<PosSamNO+NegSamNO; i++) //{ // fout<<i<<endl; // for(int j=0; j<DescriptorDim; j++) // fout<<sampleFeatureMat.at<float>(i,j)<<" "; // fout<<endl; //} //訓練SVM分類器 //迭代終止條件,當迭代滿1000次或誤差小於FLT_EPSILON時停止迭代 CvTermCriteria criteria = cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, FLT_EPSILON); //SVM引數:SVM型別為C_SVC;線性核函式;鬆弛因子C=0.01 CvSVMParams param(CvSVM::C_SVC, CvSVM::LINEAR, 0, 1, 0, 0.01, 0, 0, 0, criteria); cout<<"開始訓練SVM分類器"<<endl; svm.train(sampleFeatureMat, sampleLabelMat, Mat(), Mat(), param);//訓練分類器 cout<<"訓練完成"<<endl; svm.save("SVM_HOG.xml");//將訓練好的SVM模型儲存為xml檔案 } else //若TRAIN為false,從XML檔案讀取訓練好的分類器 { svm.load("SVM_HOG_2400PosINRIA_12000Neg_HardExample(誤報少了漏檢多了).xml");//從XML檔案讀取訓練好的SVM模型 } /************************************************************************************************* 線性SVM訓練完成後得到的XML檔案裡面,有一個數組,叫做support vector,還有一個數組,叫做alpha,有一個浮點數,叫做rho; 將alpha矩陣同support vector相乘,注意,alpha*supportVector,將得到一個列向量。之後,再該列向量的最後新增一個元素rho。 如此,變得到了一個分類器,利用該分類器,直接替換opencv中行人檢測預設的那個分類器(cv::HOGDescriptor::setSVMDetector()), 就可以利用你的訓練樣本訓練出來的分類器進行行人檢測了。 ***************************************************************************************************/ DescriptorDim = svm.get_var_count();//特徵向量的維數,即HOG描述子的維數 int supportVectorNum = svm.get_support_vector_count();//支援向量的個數 cout<<"支援向量個數:"<<supportVectorNum<<endl; Mat alphaMat = Mat::zeros(1, supportVectorNum, CV_32FC1);//alpha向量,長度等於支援向量個數 Mat supportVectorMat = Mat::zeros(supportVectorNum, DescriptorDim, CV_32FC1);//支援向量矩陣 Mat resultMat = Mat::zeros(1, DescriptorDim, CV_32FC1);//alpha向量乘以支援向量矩陣的結果 //將支援向量的資料複製到supportVectorMat矩陣中 for(int i=0; i<supportVectorNum; i++) { const float * pSVData = svm.get_support_vector(i);//返回第i個支援向量的資料指標 for(int j=0; j<DescriptorDim; j++) { //cout<<pData[j]<<" "; supportVectorMat.at<float>(i,j) = pSVData[j]; } } //將alpha向量的資料複製到alphaMat中 double * pAlphaData = svm.get_alpha_vector();//返回SVM的決策函式中的alpha向量 for(int i=0; i<supportVectorNum; i++) { alphaMat.at<float>(0,i) = pAlphaData[i]; } //計算-(alphaMat * supportVectorMat),結果放到resultMat中 //gemm(alphaMat, supportVectorMat, -1, 0, 1, resultMat);//不知道為什麼加負號? resultMat = -1 * alphaMat * supportVectorMat; //得到最終的setSVMDetector(const vector<float>& detector)引數中可用的檢測子 vector<float> myDetector; //將resultMat中的資料複製到陣列myDetector中 for(int i=0; i<DescriptorDim; i++) { myDetector.push_back(resultMat.at<float>(0,i)); } //最後新增偏移量rho,得到檢測子 myDetector.push_back(svm.get_rho()); cout<<"檢測子維數:"<<myDetector.size()<<endl; //設定HOGDescriptor的檢測子 HOGDescriptor myHOG; myHOG.setSVMDetector(myDetector); //myHOG.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector()); //儲存檢測子引數到檔案 ofstream fout("HOGDetectorForOpenCV.txt"); for(int i=0; i<myDetector.size(); i++) { fout<<myDetector[i]<<endl; } /**************讀入圖片進行HOG行人檢測******************/ //Mat src = imread("00000.jpg"); //Mat src = imread("2007_000423.jpg"); Mat src = imread("1.png"); vector<Rect> found, found_filtered;//矩形框陣列 cout<<"進行多尺度HOG人體檢測"<<endl; myHOG.detectMultiScale(src, found, 0, Size(8,8), Size(32,32), 1.05, 2);//對圖片進行多尺度行人檢測 cout<<"找到的矩形框個數:"<<found.size()<<endl; //找出所有沒有巢狀的矩形框r,並放入found_filtered中,如果有巢狀的話,則取外面最大的那個矩形框放入found_filtered中 for(int i=0; i < found.size(); i++) { Rect r = found[i]; int j=0; for(; j < found.size(); j++) if(j != i && (r & found[j]) == r) break; if( j == found.size()) found_filtered.push_back(r); } //畫矩形框,因為hog檢測出的矩形框比實際人體框要稍微大些,所以這裡需要做一些調整 for(int i=0; i<found_filtered.size(); i++) { Rect r = found_filtered[i]; r.x += cvRound(r.width*0.1); r.width = cvRound(r.width*0.8); r.y += cvRound(r.height*0.07); r.height = cvRound(r.height*0.8); rectangle(src, r.tl(), r.br(), Scalar(0,255,0), 3); } imwrite("ImgProcessed.jpg",src); namedWindow("src",0); imshow("src",src); waitKey();//注意:imshow之後必須加waitKey,否則無法顯示影象 /******************讀入單個64*128的測試圖並對其HOG描述子進行分類*********************/ ////讀取測試圖片(64*128大小),並計算其HOG描述子 ////Mat testImg = imread("person014142.jpg"); //Mat testImg = imread("noperson000026.jpg"); //vector<float> descriptor; //hog.compute(testImg,descriptor,Size(8,8));//計算HOG描述子,檢測視窗移動步長(8,8) //Mat testFeatureMat = Mat::zeros(1,3780,CV_32FC1);//測試樣本的特徵向量矩陣 ////將計算好的HOG描述子複製到testFeatureMat矩陣中 //for(int i=0; i<descriptor.size(); i++) // testFeatureMat.at<float>(0,i) = descriptor[i]; ////用訓練好的SVM分類器對測試圖片的特徵向量進行分類 //int result = svm.predict(testFeatureMat);//返回類標 //cout<<"分類結果:"<<result<<endl; system("pause"); }
結果:
(1) 1500個INRIA正樣本,2000個負樣本,結果誤報太多:
(2) 2400個INRIA正樣本,12000個負樣本,結果表明負樣本增多後誤報明顯減少,但依然有不少誤報:
(3)2400個INRIA正樣本,12000個負樣本 + 4435個用(2)中的分類器在負樣本原圖上檢測出來的Hard Example,
結果誤報明顯減少,幾乎沒有誤報了,但同時漏檢率增加:
上圖中的兩個小女孩都沒有被檢測出來
(4)下面是OpenCV中HOG檢測器的預設SVM引數的結果,OpenCV自帶的SVM引數也是用INRIA資料集訓練得到的:
上圖中的兩個小女孩用OpenCV預設SVM引數也檢測不出來。
所以感覺要想效果好的話,還應該加大正樣本的個數。
參考:http://blog.csdn.net/carson2005/article/details/7841443原始碼下載,環境為VS2010 + OpenCV2.4.4
2400個INRIA正樣本,12000個負樣本 + 4435個用(2)中的分類器在負樣本原圖上檢測出來的Hard Example 訓練好的SVM下載(XML檔案):http://pan.baidu.com/s/126Yoc