2. 程式人生 > >[caffe學習筆記]用自己的資料進行訓練和測試

[caffe學習筆記]用自己的資料進行訓練和測試

阿新 • • 發佈：2019-01-08

我今天嘗試製作一個自己的訓練資料集，參考薛開宇的學習方式，模仿搭建自己的資料庫。 

1.因為我的電腦裡有整個ImageNet_ILSVRC2012的資料集，所以從訓練集ILSVRC2012_img_train中隨便選了兩種：bird和fowl
2.生成標籤檔案列表，即生成 train.txt 和val.txt 檔案 

3.將生成的 txt 檔案列表中的影象與train影象庫、val影象庫的影象相連線，生成lmdb格式檔案

1 資料準備

首先在caffe/data下新建資料夾myself，用於存放資料檔案和後面的caffe模型相關檔案。 然後在myself資料夾下建立build_lmdb和datatest兩個資料夾，其中build_lmdb資料夾用於存放生成的lmdb檔案，datatest資料夾存放原始圖片資料。


在datatest下新建2個資料夾，train和val，其中train資料夾中存放待訓練的圖片，val資料夾中存放待測試的圖片。


在train資料夾下，又新建兩個資料夾，分別存放不同動物，bird和fowl，作為訓練集


其中，bird資料夾中，一共有1000張圖片，作為訓練集，fowl資料夾中，一共有260張圖片，作為訓練集。



上圖的檔名是我重新命名之後的樣子，重新命名檔案程式碼如下：

import os;
def rename():
    count=0;
    name="dog";
    path='/home/jack/caffe/data/myself/train/dog';
    filelist=os.listdir(path)
    for files in filelist:
        olddir=os.path.join(path,files);
        if os.path.isdir(olddir):
            continue;
        filename=os.path.splitext(files)[0];
        filetype=os.path.splitext(files)[1];
        newdir=os.path.join(path,name+str(count)+filetype);
        os.rename(olddir, newdir);
        count+=1;
rename();

然後在終端執行：

cd caffe
python data/myself/datatest/train/name.py


同樣的，val資料夾中也新建兩個資料夾，分別存放不同動物，bird和fowl，作為測試集，其中，bird一共300張，fowl一共73張。

現在原始資料就已經準備好了。

2 生成train.txt 、val.txt

生成標籤檔案train.txt和val.txt需要兩個.sh指令檔案，程式碼如下，放在data/myself/datatest目錄下：


下面是生成train.txt標籤檔案的.sh檔案指令，檔名稱為creatlist_train.sh

  1. 其中DATA是train資料bird的目錄，DATA1是train資料fowl的目錄,DATASAVE是儲存標籤檔案train.txt的路徑
  2. -name bird*.jpg的意思指以bird開頭的圖片名字
  3. cut -d ‘/’ -f8-10是擷取圖片的路徑，調整-f後面的數字可設定幾級路徑
  4. sed “s/$/ 1/”是在其後面加上 1（空格和1）
  5. 然後cat的命令是將train1.txt檔案中的內容儲存到train.txt中
  6. rm命令是刪除上面生成的train1.txt
  7. 經過上面步驟，bird和fowl的標籤檔案就都放到了train.txt 中。
然後在終端執行： 
cd caffe
sh ./data/myself/datatest/creatlist_train.sh


# /usr/bin/env sh
DATA=/home/zender/caffe/data/myself/datatest/train/bird/  
DATA1=/home/zender/caffe/data/myself/datatest/train/fowl/
DATASAVE=/home/zender/caffe/data/myself/datatest/
echo "Create train.txt..."

find $DATA -name bird*.JPEG | cut -d '/' -f8-10 | sed "s/$/ 1/">>$DATASAVE/train.txt
find $DATA1 -name fowl*.JPEG | cut -d '/' -f8-10 | sed "s/$/ 2/">>$DATASAVE/train1.txt


cat $DATASAVE/train1.txt>>$DATASAVE/train.txt


rm -rf $DATASAVE/train1.txt


echo "Done.."
以此就可以生成train.txt檔案了，見下圖


下面是生val.txt標籤檔案的.sh檔案指令程式碼，檔名稱為creatlist_val.sh

# /usr/bin/env sh
DATA=/home/zender/caffe/data/myself/datatest/val/bird/  
DATA1=/home/zender/caffe/data/myself/datatest/val/fowl/
DATASAVE=/home/zender/caffe/data/myself/datatest/
echo "Create val.txt..."

find $DATA -name bird*.JPEG | cut -d '/' -f8-10 | sed "s/$/ 1/">>$DATASAVE/val.txt
find $DATA1 -name fowl*.JPEG | cut -d '/' -f8-10 | sed "s/$/ 2/">>$DATASAVE/val1.txt


cat $DATASAVE/val1.txt>>$DATASAVE/val.txt


rm -rf $DATASAVE/val1.txt


echo "Done.."

以此就可以生成val.txt檔案了，見下圖


至此我們就已經完成了製作自己的資料集以及生成train.txt和val.txt

3 生成LMDB檔案

在caffe root/examples/imagenet中有個create_imagenet.sh檔案，我們將其複製到我們的build_lmdb資料夾下重新命名為create_mynet.sh，然後對其中需要修改的地方進行修改：
  1. 其中EXAMPLE=examples/imagenet改為自己檔案的路徑，EXAMPLE=/home/zender/caffe/data/myself/build_lmdb，用來儲存生成的lmdb檔案
  2. DATA=data/ilsvrc12，改為自己的原始圖片路徑：DATA=/home/zender/caffe/data/myself/datatest
  3. TRAIN_DATA_ROOT和VAL_DATA_ROOT指的是訓練集和測試集的路徑，修改為：TRAIN_DATA_ROOT=/home/zender/caffe/data/myself/datatest/             VAL_DATA_ROOT=/home/zender/caffe/data/myself/datatest/這裡因為train.txt檔案和val.txt檔案的路徑是從datatest開始的
  4. TOOLS保持不變
  5. resize是調整其大小為256*256以適應net的輸入，因為我的資料集bird和fowl大小是不一樣的，所以需要resize
#!/usr/bin/env sh
# Create the imagenet lmdb inputs
# N.B. set the path to the imagenet train + val data dirs
set -e

EXAMPLE=/home/zender/caffe/data/myself/build_lmdb
DATA=/home/zender/caffe/data/myself/datatest
TOOLS=build/tools

TRAIN_DATA_ROOT=/home/zender/caffe/data/myself/datatest/
VAL_DATA_ROOT=/home/zender/caffe/data/myself/datatest/

# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
# already been resized using another tool.
RESIZE=true
if $RESIZE; then
  RESIZE_HEIGHT=256
  RESIZE_WIDTH=256
else
  RESIZE_HEIGHT=0
  RESIZE_WIDTH=0
fi

if [ ! -d "$TRAIN_DATA_ROOT" ]; then
  echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"
  echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \
       "where the ImageNet training data is stored."
  exit 1
fi

if [ ! -d "$VAL_DATA_ROOT" ]; then
  echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"
  echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \
       "where the ImageNet validation data is stored."
  exit 1
fi

echo "Creating train lmdb..."

GLOG_logtostderr=1 $TOOLS/convert_imageset \
    --resize_height=$RESIZE_HEIGHT \
    --resize_width=$RESIZE_WIDTH \
    --shuffle \
    $TRAIN_DATA_ROOT \
    $DATA/train.txt \
    $EXAMPLE/train_lmdb

echo "Creating val lmdb..."

GLOG_logtostderr=1 $TOOLS/convert_imageset \
    --resize_height=$RESIZE_HEIGHT \
    --resize_width=$RESIZE_WIDTH \
    --shuffle \
    $VAL_DATA_ROOT \
    $DATA/val.txt \
    $EXAMPLE/val_lmdb

echo "Done."
然後在終端裡面執行 
cd caffe
./data/myself/build_lmdb/create_mynet.sh

注意：如果不在caffe的根目錄下執行，會報錯，所以需要先cd caffe

即可得到lmdb檔案



4 計算影象均值檔案

減去影象均值會獲得更好的效果，所以我們使用tools/compute_image_mean.cpp實現，這個cpp是一個很好的例子去熟悉如何操作多個組建，例如協議的緩衝區，leveldbs，登入等。
我們同樣複製/examples/imagenet的 make_imagenet_mean.sh檔案到data/myself/build_lmdb中，將其改名為creat_mymean.sh,加以修改路徑。

#!/usr/bin/env sh
# Compute the mean image from the imagenet training lmdb
# N.B. this is available in data/ilsvrc12

EXAMPLE=/home/zender/caffe/data/myself/build_lmdb
DATA=/home/zender/caffe/data/myself/datatest
TOOLS=build/tools

$TOOLS/compute_image_mean $EXAMPLE/train_lmdb \
  $EXAMPLE/mymean.binaryproto

echo "Done."
其中，DATA用於儲存生成的 mymean.binaryproto檔案

然後在終端裡面執行

cd caffe
./data/myself/build_lmdb/creat_mymean.sh


5 網路的定義

這個檔案是caffenet的模型配置檔案，裡面有輸入層、卷積層、池化層和全連層的定義，在這裡我們只需要對輸入層中的兩個位置進行修改。把caffe/models/bvlc_reference_caffenet中所有檔案複製到caffe/data/myself資料夾中，修改train_val.prototxt，注意修改資料層的路徑。如圖：

name: "CaffeNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 227
    mean_file: "data/myself/build_lmdb/mymean.binaryproto"
  }
# mean pixel / channel-wise mean instead of mean image
#  transform_param {
#    crop_size: 227
#    mean_value: 104
#    mean_value: 117
#    mean_value: 123
#    mirror: true
#  }
  data_param {
    source: "data/myself/build_lmdb/train_lmdb"
    batch_size: 256
    backend: LMDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 227
    mean_file: "data/myself/build_lmdb/mymean.binaryproto"
  }
# mean pixel / channel-wise mean instead of mean image
#  transform_param {
#    crop_size: 227
#    mean_value: 104
#    mean_value: 117
#    mean_value: 123
#    mirror: false
#  }
  data_param {
    source: "data/myself/build_lmdb/val_lmdb"
    batch_size: 50
    backend: LMDB
  }
}

再看下solver.prototxt檔案,其中：
1. net的路徑需要修改為自己的
2. snapshot_prefix的路徑是生成的模型放在哪裡
3. solver_mode: CPU 選擇CPU模式
4. 其餘的就根據自己的需要調整引數
net: "data/myself/train_val.prototxt"
test_iter: 10
test_interval: 100
base_lr: 0.001
lr_policy: "step"
gamma: 0.1
stepsize: 100
display: 20
max_iter: 400
momentum: 0.9
weight_decay: 0.0005
snapshot: 200
snapshot_prefix: "data/myself/"
solver_mode: CPU

使用下面的train_mynet.sh檔案來訓練caffenet模型，將其中的 –solver後面改成自己的路徑
#!/usr/bin/env sh

./build/tools/caffe train --solver=data/myself/solver.prototxt

6.進行訓練

在Linux終端下輸入下面的程式碼進行訓練

cd caffe
./data/myself/train_mynet.sh

由於我選擇使用CPU進行訓練，所以電腦特別卡，沒有訓練完就停止了


7 恢復資料
把caffe-master/examples/imagenet中的resume_training.sh複製到data/myself/build_lmdb資料夾下，修改檔案內容（倒數第二行，不是很確定）：

#!/usr/bin/env sh
set -e

./build/tools/caffe train \
    --solver=data/myself/solver.prototxt \
    --snapshot=models/bvlc_reference_caffenet/myself_iter_2.caffemodel \
    [email protected]


我們用指令./resume_training.sh即可。

8.出現的問題

1.caffe訓練遇到./build/tools/caffe: not found 錯誤解決方法

這是因為當前目錄在/caffe/data/myself/build_lmdb，而執行./create_mynet.sh ，需要在caffe目錄下，因此我們需要切換到caffe目錄下，然後執行

./data/myself/build_lmdb/create_mynet.sh

參考：
1.http://blog.csdn.net/fly_egg/article/details/53672592
2.http://blog.csdn.net/fly_egg/article/details/53670047
3.http://blog.csdn.net/u010194274/article/details/50575284
4.http://blog.csdn.net/thystar/article/details/51167334
5.http://blog.csdn.net/zhongshaoyy/article/details/53502373
6.http://blog.csdn.net/qqlu_did/article/details/47131549



相關推薦

[caffe學習筆記]用自己的資料進行訓練和測試

我今天嘗試製作一個自己的訓練資料集，參考薛開宇的學習方式，模仿搭建自己的資料庫。  1.因為我的電腦裡有整個ImageNet_ILSVRC2012的資料集，所以從訓練集ILSVRC2012_img_train中隨便選了兩種：bird和fowl2.生成標籤檔案列表，即生成 t

TensorFlow-cifar訓練與測試（可對自己資料進行分類和測試）

第一部分：測試軟硬體 硬體：NVIDIA-GTX1080 軟體：Windows7、python3.6.5、tensorflow-gpu-1.4.0 第二部分：資料下載 資料集下載連結 第三部分：程式碼分步展示 第一步：匯入tensorflow import os fr

Caffe學習筆記1：linux下建立自己的資料庫訓練和測試caffe中已有網路

本文是基於薛開宇 《學習筆記3：基於自己的資料訓練和測試“caffeNet”》基礎上，從頭到尾把實驗跑了一遍~對該文中不清楚的地方做了更正和說明。 主要工作如下： 1、下載圖片建立資料庫 2、將圖片轉化為256*256的lmdb格式 3、計算影象均值 4、定義網路修改部分引

【caffe學習筆記——mnist】mnist手寫資料集訓練和測試

http://blog.csdn.NET/liumaolincycle/article/details/47336921 本文主要來自Caffe作者Yangqing Jia網站給出的examples。 @article{jia2014caffe, Author = {Jia, Yangqing an

MongoDB學習筆記~MongoVUE對資料進行查詢，排序和按需顯示

回到目錄 對於MongoDB這個非關係型資料庫(NoSql)來說，找一個IDE工具不是很容易，還好被我找到了，它就是大名鼎鼎的MongoVUE,它可以對mongodb資料表進行增刪改查，下面我主要說一下它的查詢功能，它與傳統的SQLSERVER不同，在寫語句時我們需要了解一下它自己的一些關鍵字。

深度學習框架Caffe學習筆記(4)-MNIST資料集轉換成視覺化圖片

MNIST圖片檔案格式 train-images-idx3-ubyte 檔案偏移量 資料型別 值 描述 0000 32位整型 2051 魔數（大端儲存） 0004 32位整型 60000 檔案包

用自己的圖片訓練和預測LeNet模型

學習過mnist手寫數字識別的例程之後，想用自己的字元圖片進行訓練和預測。整個過程分為：1、收集影象資料；2、轉換資料格式；3、訓練網路；4、生成均值檔案；5、修改網路模型；6、預測圖片的類別。 1、收集影象資料 由於主要是使用lenet模型訓練自己的圖片資料，我的影象資

FCN製作自己的資料集並訓練和測試

前言 這篇部落格記錄的是如何製作自己的資料集，並使用FCN模型訓練資料，前提要搭建caffe框架，可以參考這篇部落格，我製作的資料集是仿照voc2012資料集來在做的 製作影象標籤 這一部分是最難的部分，在製作標籤之前要搞清楚你的影象共分為幾類 調整影象尺寸

Caffe學習筆記2：Windows下安裝和搭建caffe框架

小菜在這裡要感謝實習老師張xx，是他的無私奉獻。他把他之前安裝和搭建caffe框架的過程全部記錄下來了寫成文件了，小菜是按照他caffe學習筆記一步一步安裝的，讓小菜少走了許多彎路，不過小菜在安裝的額

springMVC學習筆記四（資料型別轉換和資料驗證）

=============================資料型別轉換和資料驗證======================= 資料型別轉換 Spring 內建的 PropertyEditor 如下所示： 類名                         說明    

caffe學習筆記（五）--使用自己的資料集第一次進行訓練

接著上一篇博文：製作自己的資料集 在製作好我們自己的LMDB格式的資料集後，我們就可以依照前面mnist的例程來對LeNet模型進行訓練啦，有木有很激動(≧▽≦)/ （雖然現在對模型而是一片懵懂） 簡單的說下步驟： 從caffe root/exmples

caffe學習筆記6--訓練自己的資料集

這一部分記錄下如何用caffe訓練自己的資料集,這裡使用AlexNet的網路結構。 該結構及相應的solver檔案在CAFFE/models/bvlc_alexnet目錄下，使用train_val.prototxt和solver.prototxt兩個檔案 首先，在$CAFF

（薛開宇學習筆記（三））用自己的資料訓練和測試“CaffeNet”

1.資料準備 原文是用ImageNet1000類的資料庫，本文是自己模仿一個小的資料庫進行下去的，在caffe下新建一個myself資料夾，並在網上下載了訓練貓的圖片60張，測試貓10張，訓練狗的圖片60張，測試狗10張，如圖： 為了方便，對下載的圖片名進行修改，修改

Windows Caffe 學習筆記（三）在Caffe上訓練和測試自己的資料

本文是學習Caffe官方文件"ImageNet Tutorial"時做的，同樣由於是Windows版本的原因，很多shell指令碼不能直接使用，走了不少彎路，但是收穫也不少。比如：如何讓shell指令

Caffe學習筆記（六）—— Windows下訓練自己的資料

本文主要介紹：Windows下，根據自己的資料訓練自己的網路模型。 1. 影象資料轉化為lmdb格式 comput_image_mean.bat，生成兩個mldb資料夾：mytrainldb 和 myvalldb； 2.計算訓練樣本均值 （1）編譯caffe-windo

OpenCV學習筆記——用haar特徵訓練自己的分類器（再做手勢檢測）

資料還是得看啊，又讀了經典文獻《Robust Real-Time Face Detection》，不願意讀原文的朋友可以看看http://blog.csdn.net/hqw7286/article/details/5556767，作者把文中的要點基本也都總結出來了。Ope

【caffe學習筆記之7】caffe-matlab/python訓練LeNet模型並應用於mnist資料集（2）

【案例介紹】 LeNet網路模型是一個用來識別手寫數字的最經典的卷積神經網路，是Yann LeCun在1998年設計並提出的，是早期卷積神經網路中最有代表性的實驗系統之一，其論文是CNN領域第一篇經典之作。本篇部落格詳細介紹基於Matlab、Python訓練lenet手

Caffe上用SSD訓練和測試自己的資料

學習caffe第一天，用SSD上上手。    我的根目錄$caffe_root為/home/gpu/ljy/caffe    一、執行SSD示例程式碼    1.到https://github.com/weiliu89/caffe.git下載caffe-ssd程式碼，是一個caffe資料夾    2.參考已經

caffe學習筆記（四）--製作自己的資料集train.txt和val.txt，生成LMDB檔案

在深度學習的實際應用中，我們經常用到的原始資料是圖片檔案，如jpg,png,tif等格式的，而且有可能圖片的大小還不一致。 我今天嘗試製作一個自己的訓練資料集，主要步驟為： 1.用MATLAB截圖得到訓練集的圖片 2.生成標籤檔案列表，即生成 train.

caffe學習筆記1：轉化自己的資料為（leveldb/lmdb）檔案

環境：ubuntu16.04 CPU 經過千難萬險將環境配置好之後，MNIST資料集也測試過了，MNIST資料集是通過caffe可以直接獲取資料集，如果我們要處理自己的資料的話，我們就需要做一些轉化了，我們的影象資料往往是圖片檔案，jpg，jpeg，pn