2. 程式人生 > >人臉識別CNN網路微調流程

人臉識別CNN網路微調流程

阿新 • • 發佈：2019-01-22

目標
微調論文”A Lightened CNN for Deep Face Representation”中的29層caffe網路。

資料
自己收集的包含500人的亞洲人臉資料集；
這裡寫圖片描述

訓練資料準備
1.獲得500人微調資料集之後，使用python原始碼工具將資料集劃分為訓練集和驗證集：

#!---* coding: utf-8 --*--
#!/usr/bin/python

"""
將資料集隨機分成訓練集、驗證集、測試集

"""

from PIL import Image, ImageFile
import random
import os, time
import logging



logger = logging.getLogger(__name__)
ImageFile.LOAD_TRUNCATED_IMAGES = True
 



class CreateDataSet:
      """
      建立train、val、test資料集
      """
      def __init__(self):
          pass


      @staticmethod
      def randNumber(li,num):
          temp_li=li
          res=random.sample(li,num)
          for i in res:
              temp_li.remove(i)
          #print ("res len=%d"%len(res))
 

          #print ("temp_li len=%d"%len(temp_li))
          return res,temp_li


      @staticmethod
      def openImage(image):
          return Image.open(image, mode="r")

      @staticmethod
      def saveImage(image, path):
          image.save(path)


def makeDir(path):
      try:
          if
 
 not os.path.exists(path):
                if not os.path.isfile(path):
                   # os.mkdir(path)
                    os.makedirs(path)
                    return 0
          else:
                return 1
      except Exception as e:
          print (str(e))
          return -2


def save(image, des_path, class_name,file_name): 
      temp_name=os.path.join(des_path,class_name)
      file_name=os.path.join(temp_name,file_name)
      CreateDataSet.saveImage(image, file_name)


is_create_test=0
ratio=0.1

def create(path, new_path):
      """
        多執行緒處理事務
        :param src_path: 資原始檔
        :param des_path: 目的地檔案
        :return:
      """
      train_sample_path=os.path.join(new_path, "train")
      val_sample_path=os.path.join(new_path, "val")
      test_sample_path=os.path.join(new_path, "test")

      if (os.path.isdir(new_path)):
          if makeDir(train_sample_path) == -1: 
               print ('create train dir failure')
               return -1    
          if makeDir(val_sample_path) == -1: 
               print ('create val dir failure')
               return -1   
          if(is_create_test==1):
               if makeDir(test_sample_path) == -1: 
                    print ('create test dir failure')
                    return -1    
      else:
          print ('the input param new_path is not the dir')
          return -1
      if os.path.isdir(path):
          class_names = os.listdir(path)
      else:
          print ('the input param path is not the dir')
          return -1
      for name in class_names:
          print ("process class name=%s"%name)
          tmp_class_name = os.path.join(path, name)
          val_sample_num=0;
          test_sample_num=0;
          val_total_sample_num=0;
          test_total_sample_num=0;
          if (os.path.isdir(tmp_class_name)):
                image_names=os.listdir(tmp_class_name)
                total=len(image_names)
                li = [i for i in range(total)] 
                val_total_sample_num=int(total*ratio)
                val_name_list,remain_list=CreateDataSet.randNumber(li,val_total_sample_num)
                if(is_create_test==1):
                      test_total_sample_num=int(total*ratio)    
                      test_name_list,remain_list=CreateDataSet.randNumber(remain_list,test_total_sample_num)
                #read val sample
                if makeDir(os.path.join(val_sample_path,name)) == -1: 
                    print ('create val class dir failure')
                    return -1 
                print ("val sample number=%d"%val_total_sample_num)
                #print val_name_list
                while(val_sample_num<val_total_sample_num):
                      index=val_name_list[val_sample_num]
                      temp_img_name=os.path.join(tmp_class_name,image_names[index])
                      if(os.path.isfile(temp_img_name)):
                            image = CreateDataSet.openImage(temp_img_name)
                            save(image,val_sample_path,name,image_names[index])
                      val_sample_num=val_sample_num+1
                #read  test sample
                if(is_create_test==1):
                      if makeDir(os.path.join(test_sample_path,name)) == -1: 
                           print ('create test class dir failure')
                           return -1 
                      print ("test sample number=%d"%test_total_sample_num)
                      #print test_name_list
                while(test_sample_num<test_total_sample_num):
                      index=test_name_list[test_sample_num]
                      temp_img_name=os.path.join(tmp_class_name,image_names[index])
                      if(os.path.isfile(temp_img_name)):
                            image = CreateDataSet.openImage(temp_img_name)
                            save(image,test_sample_path,name,image_names[index])
                      test_sample_num=test_sample_num+1
                #read train sample
                if makeDir(os.path.join(train_sample_path,name)) == -1: 
                    print ('create train class dir failure')
                    return -1 
                print ("train sample number=%d"%len(remain_list))
                #print remain_list
                for train in remain_list:
                      temp_img_name=os.path.join(tmp_class_name,image_names[train])
                      if(os.path.isfile(temp_img_name)):
                            image = CreateDataSet.openImage(temp_img_name)
                            save(image,train_sample_path,name,image_names[train])
                print ("finish")

if __name__ == '__main__':
        create("H:\\Finetuning-500","H:\\Finetuning-500_new")

所得的訓練集和驗證集放置Finetuning-500_new中。
這裡寫圖片描述

2.利用gen_train_val_txt.py生成訓練集和驗證集的圖片列表及其對應標籤的txt檔案(label標籤需從0開始)；將Finetuning-500_new放置/home/Data資料夾下，並在caffe-master/examples/下新建資料夾Finetuning-500，將gen_train_val_txt.py放置該資料夾下；

#!---* coding: utf-8 --*--
#!/usr/bin/python
import os
class CaffeData:
    def __init__(self):
        pass
    @staticmethod
    def create_train_txt(train_data_path,train_txt_path):
        txt_path = train_txt_path + '/' + r'train.txt'
        f = open(txt_path, "w")
        count = 0
        for dir_name in os.listdir(val_data_path):
            #   count=0
            for file_name in os.listdir(os.path.join(val_data_path, dir_name)):
            #   count=count+1
            #   img_file_path='/'+dir_name+'/'+file_name+" "+dir_name
            #   img_file_path='/'+dir_name+'/'+file_name
                img_file_path = '/' + dir_name + '/' + file_name + " " + str(count)
                f.write(img_file_path + '\n')
          # print '{} class: {}'.format(dir_name,count)
            count = count + 1

    @staticmethod
    def create_val_txt(val_data_path,val_txt_path):
        txt_path=val_txt_path +'/'+r'val.txt'
        f=open(txt_path,"w")
        count=0
        for dir_name in os.listdir(val_data_path):
        #   count=0
            for file_name in os.listdir(os.path.join(val_data_path,dir_name)):
#               count=count+1
#               img_file_path='/'+dir_name+'/'+file_name+" "+dir_name
          #     img_file_path='/'+dir_name+'/'+file_name
                img_file_path = '/'+dir_name+'/'+file_name+" "+ str(count)
                f.write(img_file_path+'\n')
#       print '{} class: {}'.format(dir_name,count)
        count=count+1

if __name__ == '__main__':
    CaffeData.create_train_txt(r'/home/Data/Finetuning-500_new/train',r'/home/yi_miao/caffe-master/examples/Finetuning-500')
    CaffeData.create_val_txt(r'/home/Data/Finetuning-500_new/val',r'/home/yi_miao/caffe-master/examples/Finetuning-500')

#finetuning 資料集

生成的訓練集和驗證集的圖片列表及其對應標籤的txt檔案內容如下：
這裡寫圖片描述

利用CreateLmdb.sh指令碼檔案生成訓練集和驗證集的lmdb資料格式，CreateLmdb.sh位於caffe-master/examples/Finetuning-500下；

#!/bin/sh

CAFFE_ROOT='/***/caffe-master/'
TOOLS=$CAFFE_ROOT/build/tools

EXAMPLE=$CAFFE_ROOT/examples/Finetuning-500
TRAIN_TXT=$EXAMPLE/train.txt
VAL_TXT=$EXAMPLE/val.txt


DATA=$CAFFE_ROOT/data/Finetuning-500
TRAIN_DATA_ROOT=/home/Data/Finetuning-500_new/train
VAL_DATA_ROOT=/home/Data/Finetuning-500_new/val
TRAIN_DATA_LMDB=$DATA/train_lmdb
VAL_DATA_LMDB=$DATA/val_lmdb


IMG_WIDTH=144
IMG_HEIGHT=144

# Set RESIZE=true to resize the images. Leave as false if images have already been resized using another tool.
RESIZE=true

if $RESIZE; then
    RESIZE_HEIGHT=$IMG_HEIGHT
    RESIZE_WIDTH=$IMG_WIDTH
else
    RESIZE_HEIGHT=0
    RESIZE_WIDTH=0
fi


if [ -d "$TRAIN_DATA_LMDB" ]; then
    rm -rf $TRAIN_DATA_LMDB
fi

if [ -d "$VAL_DATA_LMDB" ]; then
    rm -rf $VAL_DATA_LMDB
fi

if [ ! -d "$TRAIN_DATA_ROOT" ]; then
    echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"
    exit 1
fi

if [ ! -d "$VAL_DATA_ROOT" ]; then
   echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"
   exit 1
fi


echo $RESIZE_HEIGHT
echo $RESIZE_WIDTH

echo "Creating train lmdb..."

GLOG_logtostderr=1 $TOOLS/convert_imageset \
     --resize_height=$RESIZE_HEIGHT \
     --resize_width=$RESIZE_WIDTH \
     --shuffle \
     --gray=true \
     $TRAIN_DATA_ROOT \
     $TRAIN_TXT \
     $TRAIN_DATA_LMDB\

echo "Creating val lmdb..."

GLOG_logtostderr=1 $TOOLS/convert_imageset \
     --resize_height=$RESIZE_HEIGHT \
     --resize_width=$RESIZE_WIDTH \
     --shuffle \
     --gray=true \
     $VAL_DATA_ROOT \
     $VAL_TXT \
     $VAL_DATA_LMDB 

echo "Done"

利用CreateMeanFile.sh指令碼檔案生成訓練集和驗證集的lmdb資料格式，CreateMeanFile.sh位於caffe-master/examples/Finetuning-500下；

#!/bin/sh

CAFFE_ROOT='/***/caffe-master'

TOOLS=$CAFFE_ROOT/build/tools
DATA=$CAFFE_ROOT/data/Finetuning-500
EXAMPLE=$CAFFE_ROOT/examples/Finetuning-500
TRAIN_DATA_LMDB=$DATA/train_lmdb
VAL_DATA_LMDB=$DATA/val_lmdb
TRAIN_MEAN=$DATA/train_data_mean.binaryproto
VAL_MEAN=$DATA/val_data_mean.binaryproto

$TOOLS/compute_image_mean $TRAIN_DATA_LMDB \
  $TRAIN_MEAN 


$TOOLS/compute_image_mean $VAL_DATA_LMDB \
  $VAL_MEAN

使用caffe，微調模型
方法一：
1.修改train_test.prototxt和solver.prototxt檔案
以Light CNN29網路模型為例，考慮到資料量較少，LCNN29微調過程中，保留前面層的引數，修改最後一層fc2為fc2_500，將最後預測種類設定為500，新增propagate_down:0引數，微調過程中只訓練最後一個全連線fc2_500層，保持前面層的引數不變；

layer{
  name: "fc2_qh_500"  //modify
  type: "InnerProduct"
  bottom: "eltwise_fc1"
  top: "fc2_qh_500"   //modify
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  propagate_down:0    //modify
  inner_product_param{
     num_output: 500  //modify
    weight_filler {
       type: "xavier"
  #      type:"gaussian"
  #      std:0.01
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}

問題：
測試通過設定propagate_down引數訓練的網路模型，由設定fc2層propagate_down為0微調得到的網路模型，雖然成功識別的數量與原始模型差不多，但失敗的數量大大增加，根據資料所說：設定fc2層propagate_down為0，只會微調fc2層的引數，前面層的引數理論上保持不變，因此在利用fc1層特徵進行人臉識別時效果應該和原始模型一致，但測試結果差異較大，對該引數的具體作用存在疑問，希望有人能答疑解惑。

方法二
希望C層的引數不會改變，但是C前面的AB層的引數會改變，這種情況，只是固定了C層的引數，C層得到的梯度依然會反向傳播給前面的B層。只需要將對應的引數blob的學習率調整為0：在layer裡面加上param { lr_mult: 0 decay_mult:0}就可以了，比如全連線層裡面，這裡設定fc2層的lr_mult和decay_mult引數為0：

layer {    
type: "InnerProduct"    
param { 
# 對應第1個引數blob的配置，也就是全連線層的引數矩陣的配置         
  lr_mult: 0 # 學習率為0，其他引數可以看caffe.proto裡面的ParamSpec這個型別 
  decay_mult: 0  
 } 
param {    
 # 對應第2個引數blob的配置，也就是全連線層的偏置項的配置   
 lr_mult: 0 # 學習率為0  
 decay_mult: 0 
}

對學習率的設定
初始學習率設定為0.001，並以inv方式進行衰減。發現loss逐漸衰減了，但迭代2萬多次後，損失函式值又開始上升，需要調小學習率，將初始學習率設為0.0001

net: "/***/caffe-master/examples/Finetuning-500/train_test.prototxt"
test_iter: 580       # 580*16(batchsize)=9280>4028
test_interval:1340   # 1340*64(batchsize)=85760>85743
test_compute_loss: true

base_lr: 0.0001
#lr_policy:"step"
#gamma:0.1
#stepsize:20000
momentum: 0.9
weight_decay: 0.0005
lr_policy: "inv"
gamma: 0.00005
power: 0.75

display: 50
max_iter: 500000
snapshot: 5000
snapshot_prefix: "/***/caffe-master/examples/Finetuning-500/snapshot/"
solver_mode: GPU
#solver_mode: CPU
debug_info: false

後續逐步增加微調層數進行微調，但由於資料量較少，微調較多的層數效果反而不如微調最後兩個全連線層。

相關推薦

人臉識別CNN網路微調流程

目標 微調論文”A Lightened CNN for Deep Face Representation”中的29層caffe網路。 資料 自己收集的包含500人的亞洲人臉資料集； 訓練資料準備 1.獲得500人微調資料集之後，使用python原始

人臉識別CNN網路訓練流程

目標 訓練論文”A Lightened CNN for Deep Face Representation”中的caffe網路。 資料 CASIA-WebFace 可在這裡申請。 預處理 獲得CASIA-Webface資料集之後，使用tools中

基於Triplet loss函式訓練人臉識別深度網路（Open Face）

FaceNet’s innovation comes from four distinct factors: (a) thetriplet loss, (b) their triplet selection procedure, (c) training with 10

基於TensorFlow訓練的人臉識別神經網路

訓練一個神經網路 能讓她認得我這段時間正在學習tensorflow的卷積神經網路部分，為了對卷積神經網路能夠有一個更深的瞭解，自己動手實現一個例程是比較好的方式，所以就選了一個這樣比較有點意思的專案。想要她認得我，就需要給她一些我的照片，讓她記住我的人臉特徵，為了讓她區分我和

解析人臉識別系統的技術流程

人臉識別系統分析：系統由前端人臉抓拍採集子系統、網路傳輸子系統和後端解析管理子系統組成，實現對通行人臉資訊的採集、傳輸、處理、分析

CNN卷積神經網路應用於人臉識別（詳細流程+程式碼實現)和相應的超引數解釋

DeepLearning tutorial（5）CNN卷積神經網路應用於人臉識別（詳細流程+程式碼實現） @author：wepon 本文主要講解將CNN應用於人臉識別的流程，程式基於Python+numpy+theano+PIL開發，採用類似LeNet5的

用keras小試CNN卷積神經網路應用於人臉識別

Keras是一個簡約，高度模組化的神經網路庫。採用Python / Theano開發。 使用Keras如果你需要一個深度學習庫： 可以很容易和快速實現原型（通過總模組化，極簡主義，和可擴充套件性）同時支援卷積網路（vision）和複發性的網路（序列資料）。以及兩者的組合。

基於神經網路的人臉識別(Tensorflow,opencv,dlib,cnn,)

訓練一個神經網路 這段時間正在學習tensorflow的卷積神經網路部分，為了對卷積神經網路能夠有一個更深的瞭解，自己動手實現一個例程是比較好的方式，所以就選了一個這樣比較有點意思的專案。專案的github地址:github 喜歡的話就給個Star吧。想要她認得我，就需要給她一些我的照片，讓她記住我的人臉特徵

人臉識別之表情識別（五）--MBP+CNN

轉自：https://blog.csdn.net/app_12062011/article/details/80482048 EmotiW 2015 LBP特徵輸入到CNN模型中，並經過特殊對映，得到高於基線15%的效能提升。 作者採用了： 4個cnn模型VGG S,VGG M-2

字元型圖片驗證碼，使用tensorflow實現卷積神經網路，進行驗證碼識別CNN

本專案使用卷積神經網路識別字符型圖片驗證碼，其基於 TensorFlow 框架。它封裝了非常通用的校驗、訓練、驗證、識別和呼叫 API，極大地減低了識別字符型驗證碼花費的時間和精力。  專案地址： https://github.com/nickliqian/cnn_captcha

人臉識別==流程

人臉識別四個步驟,分別為人臉影象採集及檢測,人臉影象預處理,人臉影象特徵提取和人臉影象匹配與識別. 1 人臉影象採集及檢測 人臉影象採集 即通過攝像鏡頭獲取人臉的數字影象. 人臉檢測(判斷是否有人臉) 人臉檢測是人臉識別的預處理,在影象中標定出人臉的位置和大小.人臉

基於PCA與BP神經網路的人臉識別

基於PCA與BP神經網路的人臉識別 引言 1、PCA演算法 2、PCA原理推導 3、神經網路 4、matlab程式碼 5、C++程式碼 引言 前面的特徵提取部分採用的是PCA，後面的識別分類

卷積神經網路--人臉識別和神經風格遷移

卷積神經網路 — 特殊應用：人臉識別和神經風格遷移 人臉識別 人臉驗證（Verification）： 1. Input：圖片、名字/ID； 2.Output：輸入的圖片是否是對應的人。 3.1 to 1 問題。     對於大多數的人臉識別系統都存在的一個問題就是

大牛教你使用dlib中的深度殘差網路(ResNet)實現實時人臉識別

opencv中提供的基於haar特徵級聯進行人臉檢測的方法效果非常不好，本文使用dlib中提供的人臉檢測方法（使用HOG特徵或卷積神經網方法），並使用提供的深度殘差網路（ResNet）實現實時人臉識別，不過本文的目的不是構建深度殘差網路，而是利用已經訓練好的模型進行實時人臉識

人臉識別網路mobilefacenet,的改進介紹 論文閱讀筆記：MobileFaceNets: Efficient CNNs for Accurate RealTime Face Verification on Mobile Devices

轉原 論文閱讀筆記：MobileFaceNets: Efficient CNNs for Accurate RealTime Face Verification on Mobile Devices

Keras搭建CNN進行人臉識別系列(二)--配置，獲取實時視訊流

1.準備工作 1）首先需要準備一個USB攝像頭，能夠支援Ubuntu之類的linux作業系統； 2）PC機上安裝好Ubuntu14以上64位版本（儘量雙系統不要虛擬機器，不然模型訓練速度會慢得像蝸牛），可以安裝win7/win10，但我沒有試過在64位win系統上安裝te

人臉識別--訓練一個認識我的神經網路

這段時間正在學習tensorflow的卷積神經網路部分，為了對卷積神經網路能夠有一個更深的瞭解，自己動手實現一個例程是比較好的方式，所以就選了一個這樣比較有點意思的專案。 專案的github地址:github 喜歡的話就給個Star吧。 想要她認得我，就需要給她一些我的照

[TensorFlow深度學習深入]實戰二·使用CNN網路識別破解數字驗證碼

[TensorFlow深度學習深入]實戰二·使用CNN網路識別破解數字驗證碼 參考部落格。 在此基礎上做了小修改。 其中CNN網路部分仿照我們入門實戰六的內容，如果不太清楚CNN可以再去回顧一下。 本博文資料集。 程式碼部分 import os os.environ["KMP_D

TensorFlow 人臉識別網路與對抗網路搭建

本文來自作者滄夜 在 GitChat 上分享「TensorFlow 人臉識別網路與對抗網路搭建」，「閱讀原文」檢視交流實錄 「文末高能」 編輯 | 嘉仔 寫在前面的話 本次文章坑挖的有些大，有些很不好寫，想了想其實人臉識別網路大約也是一個簡單的前饋神經網路。 但是這麼說又沒有神祕感，要是要

人臉識別（稀疏表示、人工神經網路）

1. 稀疏表示 對於一個訊號 x，如果 x 中大部分的元素都為 0，只有少部分元素不為0，則稱訊號 x 為稀疏的。或者 x 中大部分元素都為較小值，接近於 0，只有少部分元素為較大值，也可以稱訊號 x 為稀疏的（例如，影象傅立葉變換之後，或者小波變換之後）。