2. 程式人生 > >OpenCV實踐之路——人臉識別之二模型訓練

OpenCV實踐之路——人臉識別之二模型訓練

阿新 • • 發佈：2019-01-05

本文由@星沉閣冰不語出品，轉載請註明作者和出處。

在之前的部落格人臉識別之一資料收集和預處理之中，已經下載了ORL人臉資料庫，並且為了識別自己的人臉寫了一個拍照程式自拍。之後對拍的照片進行人臉識別和提取，最後我們得到了一個包含自己的人臉照片的資料夾s41。在部落格的最後我們提到了一個非常重要的檔案——at.txt。

一、csv檔案的生成

當我們寫人臉模型的訓練程式的時候，我們需要讀取人臉和人臉對應的標籤。直接在資料庫中讀取顯然是低效的。所以我們用csv檔案讀取。csv檔案中包含兩方面的內容，一是每一張圖片的位置所在，二是每一個人臉對應的標籤，就是為每一個人編號。這個at.txt就是我們需要的csv檔案。生成之後它裡面是這個樣子的：


前面是圖片的位置，後面是圖片所屬人臉的人的標籤。

要生成這樣一個檔案直接用手工的方式一個一個輸入顯然不可取的，畢竟這裡有400多張圖片。而且這種重複性的工作估計也沒人想去做。所以我們可以用命令列的方式簡化工作量；或者用opencv自帶的Python指令碼來自動生成。

命令列方式是這樣的。比如我的資料集在C:\Users\bingbuyu\Downloads\att_faces資料夾下面，我就用下面兩行命令：


然後資料集資料夾下面就多出了一個at.txt檔案，但是現在是隻有路徑沒有標籤的。像下面這樣：


標籤需要手動敲上去。。。也挺麻煩的。

好在opencv教程裡面為我們提供了自動生成csv檔案的指令碼。路徑類似這樣：F:\opencv\sources\modules\contrib\doc\facerec\src\create_csv.py。我不知道怎麼用命令列引數的形式執行Python指令碼，所以只能把程式碼裡面的BASE_PATH手動的改成自己的資料集路徑，改完大致是這樣：

#!/usr/bin/env python

import sys
import os.path

# This is a tiny script to help you creating a CSV file from a face
# database with a similar hierarchie:
#
#  [email protected]:~/facerec/data/at$ tree
#  .
#  |-- README
#  |-- s1
#  |   |-- 1.pgm
#  |   |-- ...
#  |   |-- 10.pgm
#  |-- s2
#  |   |-- 1.pgm
#  |   |-- ...
#  |   |-- 10.pgm
#  ...
#  |-- s40
#  |   |-- 1.pgm
#  |   |-- ...
#  |   |-- 10.pgm
#

if __name__ == "__main__":

    #if len(sys.argv) != 2:
    #    print "usage: create_csv <base_path>"
    #    sys.exit(1)

    #BASE_PATH=sys.argv[1]
    BASE_PATH="C:/Users/bingbuyu/Downloads/att_faces"
    
    SEPARATOR=";"

    fh = open("../etc/at.txt",'w')

    label = 0
    for dirname, dirnames, filenames in os.walk(BASE_PATH):
        for subdirname in dirnames:
            subject_path = os.path.join(dirname, subdirname)
            for filename in os.listdir(subject_path):
                abs_path = "%s/%s" % (subject_path, filename)
                print "%s%s%d" % (abs_path, SEPARATOR, label)
                fh.write(abs_path)
                fh.write(SEPARATOR)
                fh.write(str(label))
                fh.write("\n")      
            label = label + 1
    fh.close()

然後執行這個指令碼就可以生成一個既有路徑又有標籤的at.txt了。

二、訓練模型

現在資料集、csv檔案都已經準備好了。接下來要做的就是訓練模型了。

這裡我們用到了opencv的Facerecognizer類。opencv中所有的人臉識別模型都是來源於這個類，這個類為所有人臉識別演算法提供了一種通用的介面。文件裡的一個小段包含了我們接下來要用到的幾個函式：


OpenCV 自帶了三個人臉識別演算法：Eigenfaces，Fisherfaces 和區域性二值模式直方圖 (LBPH)。這裡先不去深究這些演算法的具體內容，直接用就是了。如果有興趣可以去看相關論文。接下來就分別訓練這三種人臉模型。這個時候就能體現出Facerecognizer類的強大了。因為每一種模型的訓練只需要三行程式碼：

	Ptr<FaceRecognizer> model = createEigenFaceRecognizer();
	model->train(images, labels);
	model->save("MyFacePCAModel.xml");

	Ptr<FaceRecognizer> model1 = createFisherFaceRecognizer();
	model1->train(images, labels);
	model1->save("MyFaceFisherModel.xml");

	Ptr<FaceRecognizer> model2 = createLBPHFaceRecognizer();
	model2->train(images, labels);
	model2->save("MyFaceLBPHModel.xml");

當然在這之前要先把之前圖片和標籤提取出來。這時候就是at.txt派上用場的時候了。
//使用CSV檔案去讀影象和標籤，主要使用stringstream和getline方法
static void read_csv(const string& filename, vector<Mat>& images, vector<int>& labels, char separator = ';') {
	std::ifstream file(filename.c_str(), ifstream::in);
	if (!file) {
		string error_message = "No valid input file was given, please check the given filename.";
		CV_Error(CV_StsBadArg, error_message);
	}
	string line, path, classlabel;
	while (getline(file, line)) {
		stringstream liness(line);
		getline(liness, path, separator);
		getline(liness, classlabel);
		if (!path.empty() && !classlabel.empty()) {
			images.push_back(imread(path, 0));
			labels.push_back(atoi(classlabel.c_str()));
		}
	}
}

在模型訓練好之後我們拿資料集中的最後一張圖片做一個測試，看看結果如何。
	Mat testSample = images[images.size() - 1];
	int testLabel = labels[labels.size() - 1];

<span style="white-space:pre">	</span>//。。。。這裡省略部分程式碼。。。。。。。。
	// 下面對測試影象進行預測，predictedLabel是預測標籤結果
	int predictedLabel = model->predict(testSample);
	int predictedLabel1 = model1->predict(testSample);
	int predictedLabel2 = model2->predict(testSample);

	// 還有一種呼叫方式，可以獲取結果同時得到閾值:
	//      int predictedLabel = -1;
	//      double confidence = 0.0;
	//      model->predict(testSample, predictedLabel, confidence);
	
	string result_message = format("Predicted class = %d / Actual class = %d.", predictedLabel, testLabel);
	string result_message1 = format("Predicted class = %d / Actual class = %d.", predictedLabel1, testLabel);
	string result_message2 = format("Predicted class = %d / Actual class = %d.", predictedLabel2, testLabel);
	cout << result_message << endl;
	cout << result_message1 << endl;
	cout << result_message2 << endl;

由於本來的資料集中是40個人，加上自己的人臉集就是41個。標籤是從0開始標的，所以在這裡我是第40個人。也即是說Actual class應該40。Predicted class也應該是40才說明預測準確。這裡我們可以看到結果：


結果正確。

模型訓練的全部程式碼：

//#include "stdafx.h"
#include <opencv2/opencv.hpp>
#include <iostream>
#include <fstream>
#include <sstream>
#include <math.h>

using namespace cv;
using namespace std;

static Mat norm_0_255(InputArray _src) {
	Mat src = _src.getMat();
	// 建立和返回一個歸一化後的影象矩陣:
	Mat dst;
	switch (src.channels()) {
	case1:
		cv::normalize(_src, dst, 0, 255, NORM_MINMAX, CV_8UC1);
		break;
	case3:
		cv::normalize(_src, dst, 0, 255, NORM_MINMAX, CV_8UC3);
		break;
	default:
		src.copyTo(dst);
		break;
	}
	return dst;
}

//使用CSV檔案去讀影象和標籤，主要使用stringstream和getline方法
static void read_csv(const string& filename, vector<Mat>& images, vector<int>& labels, char separator = ';') {
	std::ifstream file(filename.c_str(), ifstream::in);
	if (!file) {
		string error_message = "No valid input file was given, please check the given filename.";
		CV_Error(CV_StsBadArg, error_message);
	}
	string line, path, classlabel;
	while (getline(file, line)) {
		stringstream liness(line);
		getline(liness, path, separator);
		getline(liness, classlabel);
		if (!path.empty() && !classlabel.empty()) {
			images.push_back(imread(path, 0));
			labels.push_back(atoi(classlabel.c_str()));
		}
	}
}


int main() 
{

	//讀取你的CSV檔案路徑.
	//string fn_csv = string(argv[1]);
	string fn_csv = "at.txt";

	// 2個容器來存放影象資料和對應的標籤
	vector<Mat> images;
	vector<int> labels;
	// 讀取資料. 如果檔案不合法就會出錯
	// 輸入的檔名已經有了.
	try
	{
		read_csv(fn_csv, images, labels);
	}
	catch (cv::Exception& e)
	{
		cerr << "Error opening file \"" << fn_csv << "\". Reason: " << e.msg << endl;
		// 檔案有問題，我們啥也做不了了，退出了
		exit(1);
	}
	// 如果沒有讀取到足夠圖片，也退出.
	if (images.size() <= 1) {
		string error_message = "This demo needs at least 2 images to work. Please add more images to your data set!";
		CV_Error(CV_StsError, error_message);
	}

	// 下面的幾行程式碼僅僅是從你的資料集中移除最後一張圖片
	//[gm:自然這裡需要根據自己的需要修改，他這裡簡化了很多問題]
	Mat testSample = images[images.size() - 1];
	int testLabel = labels[labels.size() - 1];
	images.pop_back();
	labels.pop_back();
	// 下面幾行建立了一個特徵臉模型用於人臉識別，
	// 通過CSV檔案讀取的影象和標籤訓練它。
	// T這裡是一個完整的PCA變換
	//如果你只想保留10個主成分，使用如下程式碼
	//      cv::createEigenFaceRecognizer(10);
	//
	// 如果你還希望使用置信度閾值來初始化，使用以下語句：
	//      cv::createEigenFaceRecognizer(10, 123.0);
	//
	// 如果你使用所有特徵並且使用一個閾值，使用以下語句：
	//      cv::createEigenFaceRecognizer(0, 123.0);
	
	Ptr<FaceRecognizer> model = createEigenFaceRecognizer();
	model->train(images, labels);
	model->save("MyFacePCAModel.xml");

	Ptr<FaceRecognizer> model1 = createFisherFaceRecognizer();
	model1->train(images, labels);
	model1->save("MyFaceFisherModel.xml");

	Ptr<FaceRecognizer> model2 = createLBPHFaceRecognizer();
	model2->train(images, labels);
	model2->save("MyFaceLBPHModel.xml");

	// 下面對測試影象進行預測，predictedLabel是預測標籤結果
	int predictedLabel = model->predict(testSample);
	int predictedLabel1 = model1->predict(testSample);
	int predictedLabel2 = model2->predict(testSample);

	// 還有一種呼叫方式，可以獲取結果同時得到閾值:
	//      int predictedLabel = -1;
	//      double confidence = 0.0;
	//      model->predict(testSample, predictedLabel, confidence);
	
	string result_message = format("Predicted class = %d / Actual class = %d.", predictedLabel, testLabel);
	string result_message1 = format("Predicted class = %d / Actual class = %d.", predictedLabel1, testLabel);
	string result_message2 = format("Predicted class = %d / Actual class = %d.", predictedLabel2, testLabel);
	cout << result_message << endl;
	cout << result_message1 << endl;
	cout << result_message2 << endl;

	waitKey(0);
	return 0;
}


-----------------------------------------------

更新：opencv3版本的程式碼有所改動，請參考較新的部落格提示。

-----------------------------------------------

知識星球

除了平時發文章之外，也會發一些平時學習過程中其他的參考資料和程式碼，歡迎加入。


相關推薦

OpenCV實踐之路——人臉識別之二模型訓練

本文由@星沉閣冰不語出品，轉載請註明作者和出處。在之前的部落格人臉識別之一資料收集和預處理之中，已經下載了ORL人臉資料庫，並且為了識別自己的人臉寫了一個拍照程式自拍。之後對拍的照片進行人臉識別和提取，最後我們得到了一個包含自己的人臉照片的資料夾s41。在部落格的最後我們提到

OpenCV學習之路——車牌識別之車牌定位

pla sim srand oval 模糊 fault .html swa ide 去年七月份因為學校項目需要開始接觸圖像處理，但那時候只是到網上找車牌識別代碼，然後加入到自己的項目中，不清楚細節原理。 現在自己重新一步步實現車牌識別。 高斯模糊： 1 Mat Ga

TensorFlow的學習之路--人臉識別

     本次學習所採用的是olivettifaces資料影象，該影象有40個人，每個人10張影象，每張影象的大小為57*47，採用的還是CNN卷積，由於是初學者，很多函式重新認識，下面把次演算法的主要函式歸納一下：    1.讀取影象：Image.open(path)   

opencv 人臉識別 （二）訓練和識別

上一篇中我們對訓練資料做了一些預處理，檢測出人臉並儲存在\pic\color\x資料夾下（x=1,2,3,...類別號），本文做訓練和識別。為了識別，首先將人臉訓練資料 轉為灰度、對齊、歸一化，再放入分類器（EigenFaceRecognizer）,最後用訓練出的model進

人臉識別（二）——訓練分類器

上一篇簡單整理了下人臉識別的相關基礎知識，這一篇將著重介紹利用pencv（2.4.9）已有的模型進行分類器訓練。 一、關於ORL人臉資料庫  ORL是一個40個人，每人採取10張人臉頭像構成的一

OpenCV實踐之路——人臉檢測（C++/Python)

本文由@星沉閣冰不語出品，轉載請註明作者和出處。之前一直覺得人臉檢測是非常麻煩的，即使是用opencv，麻煩到我都不敢去碰。這兩天仔細看了下，如果只是呼叫opencv自帶的分類器和函式的話，簡直是簡單。這不，正好最近也在學習Python，索性就用C++和Python兩種語言都

android OpenCV研究之動態人臉識別

轉載自：https://blog.csdn.net/u013895206/article/details/52671550 隨著直播漸漸的火起來，像抱著直播大腿的其他功能也漸漸的火起來了，比如說人臉識別。說起人臉識別用處甚廣，比如說有以這個功能為核心的app：美顏相機、美圖秀秀、SNOW等等，但是

人臉識別之人臉檢測（二）--人臉識別樣本製作及訓練測試

閒得沒事，折騰下opencv 人臉識別，從樣本製作到評估。 1.直接copy opencv裡的原始碼，建立工程，新增opencv庫，可以直接cmake原始碼，但我之所以自己建立工程，是想多學習，並且降低與原始碼框架的耦合度。 這裡如果出現_imp__CreateToo

基於PCA和SVM人臉識別之二.MATLAB實現

此文章中MATLAB實現均根據《數字影象處理與機器視覺----Visual c++ 與MATLAB實現》一書，我所獲得的基礎知識也大多源於此書，感謝！                          下面將我根據教程建立的工程以及敲擊的程式碼塊一一奉上，供日後參閱。建立以專

人臉識別之疲勞檢測（二）閾值法、KNN分類和Ｋ-means聚類

Table of Contents 1、均值法 2、中值法 3、KNN 結合上一節在獲得人眼特徵點後需要對睜眼閉眼狀態做出判斷，方法的選擇需要經驗結合公平的評價方法，使用大量測試集得到不同方法下的精確度並做出比較: 1、均值法 50幀睜眼資料取均值，得到不同閾

[iOS]CIDetector之CIDetectorTypeFace人臉識別

hicsg draw 修改 log uicolor div 識別 dds ack - (void)viewDidLoad { [super viewDidLoad]; // Do any additional setup after loading the

小白的java學習之路 “ 選擇結構（二）”

pre ring 問題 -s stat 適合 static 之路 span switch 選擇結構： 為什麽使用switch選擇結構： switch選擇結構可以更好地解決等值判斷問題。 switch選擇結構的四個關鍵字： switch case default

python小白之路（控制語句二）

結束 語句 for break 多個 判斷 嵌套 循環語句 遍歷 1、判斷語句：往往用來對是否滿足條件進行判斷。if、if...else...、if...elif...else...、if嵌套。 2、循環語句while：一般通過數值是否滿足循環條件。for：一般是對能保存多

人臉識別之表情識別（五）--MBP+CNN

轉自：https://blog.csdn.net/app_12062011/article/details/80482048 EmotiW 2015 LBP特徵輸入到CNN模型中，並經過特殊對映，得到高於基線15%的效能提升。 作者採用了： 4個cnn模型VGG S,VGG M-2

人臉識別之人臉對齊（九）--SDM演算法

轉自：http://blog.csdn.net/huneng1991/article/details/51901912 http://blog.csdn.net/qq_14845119/article/details/53520847 略刪改。   SDM(Supervis

人臉識別之人臉對齊（八）--LBF演算法

整體來看，其實 ，ESR是基礎版本的形狀迴歸，ERT將回歸樹修改為GBDT，由原始的直接回歸形狀，改進為迴歸形狀殘差，而LBF，是加速特徵提取，由原來的畫素差分特徵池，改為隨機選擇點。   轉自：http://blog.csdn.net/qq_14845119/article/de

人臉識別之人臉對齊（七）--JDA演算法

其實，這裡JDA之前在人臉檢測中解釋過，這裡再轉一篇的目的在於，此文更貼近論文，同時，JDA本來包含人臉檢測和人臉對齊，作為一個整體訓練和測試的。 轉自：http://blog.csdn.net/shixiangyun2/article/details/50809078 第一節： &nb

人臉識別之人臉對齊（六）--ERT演算法

1.概述 文章名稱：One Millisecond Face Alignment with an Ensemble of Regression Trees 文章來源：2014CVPR 文章作者：Vahid Kazemi ，Josephine Sullivan 簡要介紹：One Milliseco

人臉識別之人臉對齊（五）--ESR演算法

轉自：https://blog.csdn.net/app_12062011/article/details/52573024 原文：http://www.thinkface.cn/thread-2911-1-2.html 原文翻譯我看的好蛋疼，完全機器翻譯。甚至懷疑作者是否有通讀過一次

人臉識別之人臉對齊（四）--CLM演算法及概率圖模型改進

原文： http://blog.csdn.net/marvin521/article/details/11489453      04、概率圖模型應用例項         最近一篇文章《Deform