Opencv之HOG特徵與SVM相結合的人體檢測(增加自舉法)
阿新 • • 發佈:2019-01-31
Hello~洛基在上一篇關於人體檢測的文章末尾提到了自舉法,這裡科普一下,所謂自舉法,即在一個容量為n的原始樣本中重複抽取一系列容量也是n的隨機樣本,並保證每次抽樣中每一樣本觀察值被抽取的概率都為1/n。好像不是很通俗易懂,說人話就是——應用於行人檢測中的自舉方法是,對於訓練好的HOG檢測器,將原來進行訓練的負樣本當做檢測樣本,利用檢測器進行檢測,檢測出來的影象必定是不包含人體的樣本,這些不包含人體的樣本集合便成為了自舉訓練樣本,將自舉訓練樣本處理之後重新作為負樣本,輸入到SVM中進行再一次訓練,如此一來得到的檢測器會“進化”為錯檢率更低的進化版檢測器。
Of course,自舉訓練可以進行多次,這樣分類的效果可能會更好,不過也不排除,在進行了多次自舉訓練之後,檢測器出現大量漏檢情況哦- -所以自舉訓練的次數,可能並不是越多越好,這是我在進行試驗的小總結(認真臉)。
Okay進入正題,也就是程式碼部分。
#include <iostream> #include <fstream> #include <string> #include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/imgproc/imgproc.hpp> #include <opencv2/objdetect/objdetect.hpp> #include <opencv2/ml/ml.hpp> using namespace std; using namespace cv; #define str "E:\\INRIAPerson\\HardExample\\" int hardExampleCount = 0; //因為在生成setSVMDetector中用到的檢測子引數時要用到訓練好的SVM的decision_func的protected型別引數alpha和rho,故只能通過繼承之後利用函式訪問了 class MySVM : public CvSVM { public: //獲得SVM的決策函式中的alpha陣列 double * get_alpha_vector() { return this->decision_func->alpha; } //獲得SVM的決策函式中的rho引數,即偏移量 float get_rho() { return this->decision_func->rho; } };
int main() { Mat src; char saveName[256];//剪裁出來的hard example圖片的檔名 string ImgName; //ifstream fin_detector("HOGDetectorParagram.txt"); ifstream fin_imgList("neg.txt");//開啟原始負樣本圖片檔案列表 //每次在載入計算好的HOG描述子,然後設定SVM檢測器時,都會報錯——Assertion failed checkDetectorSize。令人抓狂的一個錯誤 //於是只能每次都重新根據訓練好的SVM.xml,計算HOG描述子,然後再設定SVM檢測器了。這個問題留到後面再解決! cout<<"載入訓練好的SVM分類器"<<endl; int DescriptorDim;//特徵向量維數,即HOG描述子的維數 MySVM svm; svm.load("SVM_HOG.xml"); DescriptorDim = svm.get_var_count(); cout<<"描述子維數:"<<DescriptorDim<<endl; int supportVectorNum = svm.get_support_vector_count();//支援向量的個數 cout<<"支援向量個數:"<<supportVectorNum<<endl; //Mat alphaMat = Mat::zeros(1, supportVectorNum, CV_32FC1);//alpha向量,長度等於支援向量個數 Mat alphaMat = Mat::zeros(1, supportVectorNum, CV_32FC1); Mat supportVectorMat = Mat::zeros(supportVectorNum, DescriptorDim, CV_32FC1);//支援向量矩陣 Mat resultMat = Mat::zeros(1, DescriptorDim, CV_32FC1);//alpha向量乘以支援向量矩陣的結果 //將支援向量的資料複製到supportVectorMat矩陣中,共有supportVectorNum個支援向量,每個支援向量的資料有DescriptorDim維(種) for(int i=0; i<supportVectorNum; i++) { const float * pSVData = svm.get_support_vector(i);//返回第i個支援向量的資料指標 for(int j=0; j<DescriptorDim; j++) supportVectorMat.at<float>(i,j) = pSVData[j];//第i個向量的第j維資料 } //將alpha向量的資料複製到alphaMat中 //double * pAlphaData = svm.get_alpha_vector();//返回SVM的決策函式中的alpha向量 double * pAlphaData = svm.get_alpha_vector(); for(int i=0; i<supportVectorNum; i++) { alphaMat.at<float>(0,i) = pAlphaData[i];//alpha向量,長度等於支援向量個數 } //計算-(alphaMat * supportVectorMat),結果放到resultMat中 resultMat = -1 * alphaMat * supportVectorMat;//上一篇博文中有解釋為什麼是負號,這裡不贅述 //得到最終的setSVMDetector(const vector<float>& detector)引數中可用的檢測子 vector<float> myDetector; //將resultMat中的資料複製到陣列myDetector中 for(int i=0; i<DescriptorDim; i++) { myDetector.push_back(resultMat.at<float>(0,i)); } myDetector.push_back(svm.get_rho());//最後新增偏移量rho,得到檢測子 cout<<"檢測子維數:"<<myDetector.size()<<endl; //設定HOGDescriptor的檢測子 HOGDescriptor hog(Size(64,128),Size(16,16),Size(8,8),Size(8,8),9); hog.setSVMDetector(myDetector); //從檔案中讀入自己訓練的SVM引數 //float temp; //vector<float> myDetector;//自己的檢測器陣列 //while(!fin_detector.eof()) //{ //fin_detector >> temp; //myDetector.push_back(temp); //} //cout<<"檢測子維數:"<<myDetector.size()<<endl; //設定檢測器引數為自己訓練的SVM引數 //HOGDescriptor hog; //hog.setSVMDetector(myDetector);//上面說過了,如果直接讀入之前儲存好的HOG描述子txt檔案,會一直報錯= =no idea to solve it while(getline(fin_imgList,ImgName)) { cout<<"處理:"<<ImgName<<endl; string fullName = "E:\\INRIAPerson\\Negjpg_undesign\\" + ImgName; src = imread(fullName); Mat img = src.clone(); vector<Rect> found; hog.detectMultiScale(src, found, 0, Size(8,8),Size(32,32), 1.05, 2); //處理得到的矩形框 for(int i=0; i < found.size(); i++) { //將矩形框輪廓限定在影象內部,r的x、y座標是相對於源影象src來定義的 Rect r = found[i]; if(r.x < 0) r.x = 0; if(r.y < 0) r.y = 0; if(r.x + r.width > src.cols) r.width = src.cols - r.x; if(r.y + r.height > src.rows) r.height = src.rows - r.y; //將矩形框框出的圖片儲存為難例 Mat hardExampleImg = src(r);//從原圖上擷取矩形框大小的圖片 resize(hardExampleImg,hardExampleImg,Size(64,128));//將剪裁出來的圖片縮放為64*128大小 sprintf(saveName,"hardexample%09d.jpg",hardExampleCount++);//生成hard example圖片的檔名 imwrite(saveName, hardExampleImg);//儲存框出的圖片部分,這裡沒辦法新增一個路徑名稱,所以全部儲存在VS專案裡了,好亂= = //畫矩形框,因為hog檢測出的矩形框比實際人體框要稍微大些,所以這裡需要做一些調整 r.x += cvRound(r.width*0.1); r.width = cvRound(r.width*0.8); rectangle(img, r.tl(), r.br(), Scalar(0,255,0), 2); } imwrite(str+ImgName,img);//將處理過的影象儲存下來,這裡儲存的就是原始負樣本加上各種框框之後的結果圖片 imshow("src",src); waitKey(20); } system("pause"); }
這個是經過自舉法之後得到的新檢測器的成果,是不是很Duang Duang Duang?來對比一下沒有通過自舉法得到的檢測結果:
其實我只利用了一次自舉訓練,便得到了以上的良好檢測效果,因為檢測的正負樣本基數不夠大,所以不敢進行多次自舉訓練,擔心會造成大量漏檢。最後值得一提的是,利用原始1000多張負樣本進行自舉檢測,竟然得到了7000+張新的負樣本,這說明原來的檢測器檢測效果堪憂。。。不過好在擁有了自舉訓練這個關鍵的idea,使得我們的檢測器功能優化了很多~
Last but not least,洛基祝大家新年快樂!大家在刻苦敲程式碼的同時也別忘了去鍛鍊身體哦!現在是成都時間2017年1月3日凌晨12點38分
Nighty night~ :-D