[計算機視覺][神經網路與深度學習]Faster R-CNN配置及其訓練教程
Faster R-CNN教程
最後更新日期:2016年4月29日
本教程主要基於python版本的faster R-CNN,因為python layer的使用,這個版本會比matlab的版本速度慢10%,但是準確率應該是差不多的。
目前已經實現的有兩種方式:
- Alternative training
- Approximate joint training
推薦使用第二種,因為第二種使用的視訊記憶體更小,而且訓練會更快,同時準確率差不多甚至略高一點。
Contents
- 配置環境
- 安裝步驟
- Demo
- 建立自己的資料集
- 訓練和檢測
配置環境
1配置python layers
#In your Makefile.config, make sure to have this line uncommented
WITH_PYTHON_LAYER := 1
# Unrelatedly, it's also recommended that you use CUDNN
USE_CUDNN := 1
2安裝幾個依賴cython,
python-opencv, easydict
sudo apt-get install python-opencv
sudo pip install cython easydict
安裝步驟
1克隆工程
git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git
2編譯Cython模組
cd $FRCN_ROOT /lib
make
3編譯caffe和pycaffe
cd $FRCN_ROOT/caffe-fast-rcnn
# Now follow the Caffe installation instructions here:
# http://caffe.berkeleyvision.org/installation.html
# If you're experienced with Caffe and have all of the requirements installed
# and your Makefile.config in place, then simply do:
make -j8 && make pycaffe
Demo
安裝步驟完成後,就可以執行一下demo了。
cd $FRCN_ROOT
./tools/demo.py
訓練自己的訓練集
工程目錄簡介
首先工程的根目錄簡單的稱為 FRCN_ROOT,可以看到根目錄下有以下幾個資料夾
- caffe-fast-rcnn
這裡是caffe框架目錄
- data
用來存放pretrained模型,比如imagenet上的,以及讀取檔案的cache快取
- experiments
存放配置檔案以及執行的log檔案,另外這個目錄下有scripts可以用end2end或者alt_opt兩種方式訓練。
- lib
用來存放一些python介面檔案,如其下的datasets主要負責資料庫讀取,config負責cnn一些訓練的配置選項。
- models
裡面存放了三個模型檔案,小型網路的ZF,大型網路VGG16,中型網路VGG_CNN_M_1024。推薦使用VGG16,如果使用端到端的approximate joint training方法,開啟CuDNN,只需要3G的視訊記憶體即可。
- output
這裡存放的是訓練完成後的輸出目錄,預設會在faster_rcnn_end2end資料夾下
- tools
裡面存放的是訓練和測試的Python檔案。
建立資料集
接下來我們就要建立自己的資料集了,這部分主要在lib目錄裡操作。這裡下面存在3個目錄:
- datasets
在這裡修改讀寫資料的介面主要是datasets目錄下
- fast_rcnn
主要存放的是python的訓練和測試指令碼,以及訓練的配置檔案config.py
- nms
做非極大抑制的部分,有gpu和cpu兩種實現方式
- roi_data_layer
主要是一些ROI處理操作
- rpn
這就是RPN的核心程式碼部分,有生成proposals和anchor的方法
-
transform
-
utils
1構建自己的IMDB子類
1.1檔案概述
可有看到datasets目錄下主要有三個檔案,分別是
- factory.py
- imdb.py
- pascal_voc.py
factory.py 是個工廠類,用類生成imdb類並且返回資料庫共網路訓練和測試使用;imdb.py 這裡是資料庫讀寫類的基類,分裝了許多db的操作,但是具體的一些檔案讀寫需要繼承繼續讀寫;pascal_voc.py Ross在這裡用pascal_voc.py這個類來操作。
1.2讀取檔案函式分析
接下來我來介紹一下pasca_voc.py這個檔案,我們主要是基於這個檔案進行修改,裡面有幾個重要的函式需要修改
- def init(self, image_set, year, devkit_path=None)
這個是初始化函式,它對應著的是pascal_voc的資料集訪問格式,其實我們將其介面修改的更簡單一點。 - def image_path_at(self, i)
根據第i個影象樣本返回其對應的path,其呼叫了image_path_from_index(self, index)作為其具體實現 - def image_path_from_index(self, index)
實現了 image_path的具體功能 - def _load_image_set_index(self)
載入了樣本的list檔案 - def _get_default_path(self)
獲得資料集地址 - def gt_roidb(self)
讀取並返回ground_truth的db - def selective_search_roidb
讀取並返回ROI的db,這個是fast rcnn用的,faster版本的不用管這個函式。 - def _load_selective_search_roidb(self, gt_roidb)
載入預選框的檔案 - def selective_search_IJCV_roidb(self)
在這裡呼叫讀取Ground_truth和ROI db並將db合併 - def _load_selective_search_IJCV_roidb(self, gt_roidb)
這裡是專門讀取作者在IJCV上用的dataset - def **_load_pascal_annotation**(self, index)
這個函式是讀取gt的具體實現 - def _write_voc_results_file(self, all_boxes)
voc的檢測結果寫入到檔案 - def _do_matlab_eval(self, comp_id, output_dir='output')
根據matlab的evluation介面來做結果的分析 - def evaluate_detections
其呼叫了_do_matlab_eval - def competition_mode
設定competitoin_mode,加了一些噪點
1.3訓練資料格式
在我的檢測任務裡,我主要是在SED資料集上做行人檢測,因此我這裡只有background 和person 兩類物體,為了操作方便,我像pascal_voc資料集裡面一樣每個影象用一個xml來標註。如果大家不知道怎麼生成xml檔案,可以用這個工具 labelImg?
這裡我要特別提醒一下大家,一定要注意座標格式,一定要注意座標格式,一定要注意座標格式,重要的事情說三遍!!!要不然你會犯很多錯誤都會是因為座標不一致引起的報錯。
1.4修改讀取介面
這裡是原始的pascal_voc的init函式,在這裡,由於我們自己的資料集往往比voc的資料集要更簡單的一些,在作者程式碼裡面用了很多的路徑拼接,我們不用去迎合他的格式,將這些操作簡單化即可,在這裡我會一一列舉每個我修改過的函式。這裡按照檔案中的順序排列。
修改後的初始化函式:
class hs(imdb):
def__init__(self, image_set, devkit_path=None): # modified
imdb.__init__(self, image_set)
self._image_set = image_set
self._devkit_path = devkit_path #datasets路徑
self._data_path = os.path.join(self._devkit_path,image_set) #圖片資料夾路徑
self._classes = ('__background__', # always index 0
'person') #two classes
self._class_to_ind = dict(zip(self.classes, xrange(self.num_classes))) # form the dict{'__background__':'0','person':'1'}
self._image_ext = '.jpg'
self._image_index = self._load_image_set_index('ImageList.txt')
# Default to roidb handler
self._roidb_handler = self.selective_search_roidb
self._salt = str(uuid.uuid4())
self._comp_id = 'comp4'
# PASCAL specific config options
self.config = {'cleanup' : True,
'use_salt' : True,
'use_diff' : False,
'matlab_eval' : False,
'rpn_file' : None,
'min_size' : 16} #小於16個畫素的框扔掉
assert os.path.exists(self._devkit_path), \
'VOCdevkit path does not exist: {}'.format(self._devkit_path)
assert os.path.exists(self._data_path), \
'Path does not exist: {}'.format(self._data_path)
修改後的image_path_from_index:
def image_path_from_index(self, index): #modified
""" Construct an image path from the image's "index" identifier. """
image_path = os.path.join(self._data_path,index +'.jpg')
assert os.path.exists(image_path), \
'Path does not exist: {}'.format(image_path)
return image_path
修改後的_load_image_set_index:
def _load_image_set_index(self,imagelist): # modified
""" Load the indexes listed in this dataset's image set file. """
# Example path to image set file:
# self._devkit_path + /VOCdevkit2007/VOC2007/ImageSets/Main/val.txt
image_set_file = os.path.join(self._devkit_path, imagelist)
assert os.path.exists(image_set_file), \
'Path does not exist: {}'.format(image_set_file)
with open(image_set_file) as f:
image_index = [x.strip() for x in f.readlines()]
return image_index
gt_roidb(self):
這個函式裡有個生成ground truth的檔案,我需要特別說明一下,如果你再次訓練的時候修改了資料庫,比如新增或者刪除了一些樣本,但是你的資料庫名字函式原來那個,必須要在data/cache/目錄下把資料庫的快取檔案.pkl給刪除掉,否則其不會重新讀取相應的資料庫,而是直接從之前讀入然後快取的pkl檔案中讀取進來,這樣修改的資料庫並沒有進入網路,而是載入了老版本的資料。
修改的_load_pascal_annotation(self, index):
def _load_pascal_annotation(self, index): #modified
""" Load image and bounding boxes info from XML file in the PASCAL VOC format. """
filename = os.path.join(self._devkit_path, 'Annotations', index + '.xml')
tree = ET.parse(filename)
objs = tree.findall('object')
if not self.config['use_diff']:
# Exclude the samples labeled as difficult
non_diff_objs = [
obj for obj in objs if int(obj.find('difficult').text) == 0]
# if len(non_diff_objs) != len(objs):
# print 'Removed {} difficult objects'.format(
# len(objs) - len(non_diff_objs))
objs = non_diff_objs
num_objs = len(objs)
boxes = np.zeros((num_objs, 4), dtype=np.uint16)
gt_classes = np.zeros((num_objs), dtype=np.int32)
overlaps = np.zeros((num_objs, self.num_classes), dtype=np.float32)
# "Seg" area for pascal is just the box area
seg_areas = np.zeros((num_objs), dtype=np.float32)
# Load object bounding boxes into a data frame.
for ix, obj in enumerate(objs):
bbox = obj.find('bndbox')
# Make pixel indexes 0-based
x1 = float(bbox.find('xmin').text)
y1 = float(bbox.find('ymin').text)
x2 = float(bbox.find('xmax').text)
y2 = float(bbox.find('ymax').text)
cls = self._class_to_ind[obj.find('name').text.lower().strip()]
boxes[ix, :] = [x1, y1, x2, y2]
gt_classes[ix] = cls
overlaps[ix, cls] = 1.0
seg_areas[ix] = (x2 - x1 + 1) * (y2 - y1 + 1)
overlaps = scipy.sparse.csr_matrix(overlaps)
return {'boxes' : boxes,
'gt_classes': gt_classes,
'gt_overlaps' : overlaps,
'flipped' : False,
'seg_areas' : seg_areas}
因為我和Pascal用了一樣的xml格式,所以這個函式我的改動不多。如果你想用txt檔案儲存ground truth,做出相應的修改即可。
座標的順序強調一下,要左上右下,並且x1必須要小於x2,這個是基本,反了會在座標水平變換的時候會出錯,座標從0開始,如果已經是0,則不需要再-1。如果怕出錯,可以直接把出界的的直接置0.
記得在最後的main下面也修改相應的路徑
from datasets.hs import hs
d = hs('hs', '/home/zyy/workspace/wangml/py-faster-rcnn/lib/datasets/')
res = d.roidb
from IPython import embed; embed()
OK,在這裡我們已經完成了整個的讀取介面的改寫。
2修改factory.py
當網路訓練時會呼叫factory裡面的get方法獲得相應的imdb,
首先在檔案頭import 把pascal_voc改成hs
# --------------------------------------------------------
# Fast R-CNN
# Copyright (c) 2015 Microsoft
# Licensed under The MIT License [see LICENSE for details]
# Written by Ross Girshick
# --------------------------------------------------------
"""Factory method for easily getting imdbs by name."""
__sets = {}
from datasets.hs import hs
import numpy as np
# # Set up voc_<year>_<split> using selective search "fast" mode
# for year in ['2007', '2012']:
# for split in ['train', 'val', 'trainval', 'test']:
# name = 'voc_{}_{}'.format(year, split)
# __sets[name] = (lambda split=split, year=year: pascal_voc(split, year))
#
# # Set up coco_2014_<split>
# for year in ['2014']:
# for split in ['train', 'val', 'minival', 'valminusminival']:
# name = 'coco_{}_{}'.format(year, split)
# __sets[name] = (lambda split=split, year=year: coco(split, year))
#
# # Set up coco_2015_<split>
# for year in ['2015']:
# for split in ['test', 'test-dev']:
# name = 'coco_{}_{}'.format(year, split)
# __sets[name] = (lambda split=split, year=year: coco(split, year))
name = 'hs'
devkit = '/home/zyy/workspace/wangml/py-faster-rcnn/lib/datasets/'
__sets['hs'] = (lambda name = name,devkit = devkit: hs(name,devkit))
def get_imdb(name):
"""Get an imdb (image database) by name."""
if not __sets.has_key(name):
raise KeyError('Unknown dataset: {}'.format(name))
return __sets[name]()
def list_imdbs():
"""List all registered imdbs."""
return __sets.keys()
訓練和檢測
1.預訓練模型介紹
首先在data目錄下,有兩個目錄
-
faster_rcnn_models/
-
imagenet_models/
faster_rcnn_model資料夾下面是作者用faster rcnn訓練好的三個網路,分別對應著小、中、大型網路,大家可以試用一下這幾個網路,看一些檢測效果,他們訓練都迭代了80000次,資料集都是pascal_voc的資料集。
imagenet_model資料夾下面是在Imagenet上訓練好的通用模型,在這裡用來初始化網路的引數.
在這裡我比較推薦先用中型網路訓練,中型網路訓練和檢測的速度都比較快,效果也都比較理想,大型網路的話訓練速度比較慢,中型網路訓練大概半天,大型網路的話用25個小時。
2.修改模型檔案配置
模型檔案在models下面對應的網路資料夾下,在這裡我用中型網路的配置檔案修改為例子
比如:我的檢測目標物是person ,那麼我的類別就有兩個類別即 background 和 person
因此,首先開啟網路的模型資料夾,開啟train.prototxt
修改的地方重要有三個
分別是個地方
- 首先在data層把num_classes 從原來的21類 20類+背景 ,改成 2類 人+背景
- 接在在cls_score層把num_output 從原來的21 改成 2
- 在bbox_pred層把num_output 從原來的84 改成8, 為檢測類別個數乘以4,比如這裡是2類那就是2*4=8
OK,如果你要進一步修改網路訓練中的學習速率,步長,gamma值,以及輸出模型的名字,需要在同目錄下的solver.prototxt中修改。
3.啟動Fast RCNN網路訓練
python ./tools/train_net.py --gpu 1 --solver models/hs/faster_rcnn_end2end/solver.prototxt --weights data/imagenet_models/VGG_CNN_M_1024.v2.caffemodel --imdb hs --iters 80000 --cfg experiments/cfgs/faster_rcnn_end2end.yml
引數講解:
-
這裡的–是兩個-,不要輸錯
-
train_net.py是網路的訓練檔案,之後的引數都是附帶的輸入引數
-
--gpu 代表機器上的GPU編號,如果是nvidia系列的tesla顯示卡,可以在終端中輸入nvidia-smi來檢視當前的顯示卡負荷,選擇合適的顯示卡
-
--solver 代表模型的配置檔案,train.prototxt的檔案路徑已經包含在這個檔案之中
-
--weights 代表初始化的權重檔案,這裡用的是Imagenet上預訓練好的模型,中型的網路我們選擇用VGG_CNN_M_1024.v2.caffemodel
-
--imdb 這裡給出的訓練的資料庫名字需要在factory.py的_sets中,我在檔案裡面有_sets[‘hs’],train_net.py這個檔案會呼叫factory.py再生成hs這個類,來讀取資料
4.啟動Fast RCNN網路檢測
可以參考tools下面的demo.py 檔案,來做檢測,並且將檢測的座標結果輸出到相應的txt檔案中。
最後
鑑於之前我用的版本是15年11月的版本,有些小夥伴在使用此教程時會有一些錯誤,所以我重新做了部分修訂,目前能夠在2016年4月29日版本的版本上成功執行,如果有問題,隨時聯絡我。
相關推薦
[計算機視覺][神經網路與深度學習]Faster R-CNN配置及其訓練教程
Faster R-CNN教程 最後更新日期:2016年4月29日 本教程主要基於python版本的faster R-CNN,因為python layer的使用,這個版本會比matlab的版本速度慢10%,但是準確率應該是差不多的。 目前已經實現的有兩種方式: Alternative trainingAp
[計算機視覺][神經網路與深度學習]SSD安裝及其訓練教程
git clone https://github.com/weiliu89/caffe.git cd caffe git checkout ssd(出現“分支”則說明copy-check成功)123進入下載好的caffe目錄,複製配置檔案 cd /home/usrname/caffe
【計算機視覺】【神經網路與深度學習】YOLO v2 detection訓練自己的資料
轉自:http://blog.csdn.net/hysteric314/article/details/54097845 說明 這篇文章是訓練YOLO v2過程中的經驗總結,我使用YOLO v2訓練一組自己的資料,訓練後的model,在閾值為.25的情況下,Reca
【神經網路與深度學習】【計算機視覺】SSD
背景介紹: 基於“Proposal + Classification” 的 Object Detection 的方法,R-CNN 系列(R-CNN、SPPnet、Fast R-CNN 以及 Faster R-CNN),取得了非常好的結果,但是在速度方面離實時效果還比較遠在提高 mAP 的同時兼顧速度,逐
【神經網路與深度學習】【計算機視覺】Fast R-CNN
先回歸一下: R-CNN ,SPP-net R-CNN和SPP-net在訓練時pipeline是隔離的:提取proposal,CNN提取特徵,SVM分類,bbox regression。 Fast R-CNN 兩大主要貢獻點 : 1 實現大部分end-to-end訓練(提proposal階段除外):
小白學《神經網路與深度學習》筆記之一-計算機的潛意識:淺談神經網路-從神經元到深度學習
神經網路是一門重要的機器學習技術。它是目前最為火熱的研究方向--深度學習的基礎。學習神經網路不僅可以讓你掌握一門強大的機器學習方法,同時也可以更好地幫助你理解深度學習技術。 本文以一種簡單的,循序的方式講解神經網路。適合對神經網路瞭解不多的同學。本文對閱讀沒有一定的前提要
神經網路與深度學習課程筆記(第三、四周)
接著學習吳恩達老師第三、四周的課程。(圖片均來自吳恩達老師課件) 第三週 1. 普通的淺層網路
神經網路與深度學習課程筆記(第一、二週)
之前結束了吳恩達老師的機器學習的15節課,雖然看得很艱辛,但是也算是對於機器學習的理論有了一個入門,很多的東西需要不斷的思考以及總結。現在開始深度學習的學習,仍然做課程筆記,記錄自己的一些收穫以及思考。 第一週 1. ReLU (Rectified
深度學習介紹(下)【Coursera deeplearning.ai 神經網路與深度學習】
1. shallow NN 淺層神經網路 2. 為什麼需要activation function? 如下圖所示,如果不用啟用函式,那麼我們一直都在做線性運算,對於複雜問題沒有意義。linear 其實也算一類啟用函式,但是一般只用在機器學習的迴歸問題,例如預測房價等。 3.
分享《神經網路與深度學習(美)Michael Nielsen 著》中文版PDF+英文版PDF+原始碼
下載:https://pan.baidu.com/s/18_Y7fJMaKwFRKKuGjYIreg 更多資料分享:http://blog.51cto.com/3215120 《神經網路與深度學習(美)Michael Nielsen 著》中文版PDF+英文版PDF+原始碼中文版PDF,206頁,帶書籤目錄
deeplearning.ai神經網路與深度學習 第一章notes
神經網路與深度學習第一章 目錄 什麼是神經網路 用神經網路進行監督學習 為什麼深度學習會興起 什麼是神經網路 1.1定義 它是一個源於人腦工作機理的強大演算法 1.2單元神經網路 我們首先看一個例子,這個例子是一個房價評估問題。我們現在有一些資料,是房子的
《神經網路與深度學習(美)MichaelNielsen著》中英文版PDF+原始碼+吳岸城版PDF
資源連結:https://pan.baidu.com/s/1-v89VftxGHdzd4WAp2n6xQ《神經網路與深度學習(美)Michael Nielsen 著》中文版PDF+英文版PDF+原始碼以及《神經網路與深度學習 》(吳岸城版)中文版PDF,206頁,帶書籤目錄;英文版PDF,292頁,帶書籤目錄
吳恩達《神經網路與深度學習》課程筆記歸納(二)-- 神經網路基礎之邏輯迴歸
上節課我們主要對深度學習(Deep Learning)的概念做了簡要的概述。我們先從房價預測的例子出發,建立了標準的神經網路(Neural Network)模型結構。然後從監督式學習入手,介紹了Standard NN,CNN和RNN三種不同的神經網路模型。接著介紹了兩種不
吳恩達《神經網路與深度學習》課程筆記歸納(三)-- 神經網路基礎之Python與向量化
上節課我們主要介紹了邏輯迴歸,以輸出概率的形式來處理二分類問題。我們介紹了邏輯迴歸的Cost function表示式,並使用梯度下降演算法來計算最小化Cost function時對應的引數w和b。通過計算圖的方式來講述了神經網路的正向傳播和反向傳播兩個過程。本節課我們將來
Coursera 吳恩達《神經網路與深度學習》第三週程式設計作業
# Package imports import numpy as np import matplotlib.pyplot as plt from testCases import * import sklearn import sklearn.datasets impo
04.神經網路與深度學習-第四周-深層神經網路
1. 通常情況下,我們使用L表示神經網路的層數,n表示神經網路的各個網路層的神經元個數,使用a=g(z)表示各個層所用的啟用函式,同理,z中的引數使用w和b表示。具體寫法如圖: 2. 前向反饋的表示方法 所有樣本的前向反饋的表示方法 3. 我們在編碼深度神經
演算法工程師之路——Deeplearning.ai神經網路與深度學習篇Week1
寫在前面——一點碎碎念 天將降大任於是人也,必先苦其心志,勞其筋骨,餓其體膚,空乏其身,行拂亂其所為。——《孟子•告子下》 塵埃落定,在好好學(wan)習(shua)三年之後,我成功僥倖收穫了的UESTC MSE的Offer,心裡萬分激動,想著B
Note——Neural Network and Deep Learning (1)[神經網路與深度學習學習筆記(1)]
一、初學神經網路的體會 正如書中作者說的神經網路可以被稱作最美的程式設計正規化之一,神經網路將我們需要解決的複雜問題,比如手寫字型分類,簡化成一個個簡單的步驟,而本人無需瞭解內部的具體結構引數變化等。關於神經網路已經有很多實用的庫,使用這些庫可以很快的解決問題。但是不滿
演算法工程師之路——Deeplearning.ai神經網路與深度學習篇Week3
上一週的回顧 過去的一週真的發生了很多意想不到、驚心動魄的事情,從大學四年最後一次體測到唐獎競爭,從小IG力挽狂瀾到RNG遺憾折戟,生活可謂是充滿了無數的可能。也正是因為這樣,我們的生活才不至於那麼乏味,像工廠流水線生產一樣標準化、制度化,而隨時都可
演算法工程師之路——Deeplearning.ai神經網路與深度學習篇Week4
上一週的回顧 剛剛過去了10月最後完整的一週,馬上就要撲向11月的懷抱了。很開心能夠在每週總結自己的所學所得,整理為部落格,這樣也是一種讓人充滿了成就感的事情。在上一週我開始學著逐漸運用之前提到的多執行緒學習法進行知識的擴充,收到了不錯的效益,一方面