2. 程式人生 > >Caffe SSD編譯、訓練及測試

Caffe SSD編譯、訓練及測試

阿新 • • 發佈：2018-11-26

SSD網路結構
SSD採用VGG16作為基礎模型，然後在VGG16的基礎上新增了卷積層來獲得更多的特徵以用於檢測。SSD的網路結構如上圖所示（上面是SSD模型，下面是Yolo模型），可以明顯看到SSD利用了多尺度的特徵圖做檢測。

安裝

  1. clone程式碼（假設程式碼clone到$CAFFE_ROOT目錄）。
git clone https://github.com/weiliu89/caffe.git
cd caffe
git checkout ssd
  1. 編譯。這一步驟假設已經安裝好caffe環境，caffe的安裝可參考：http://caffe.berkeleyvision.org/installation.html
# Modify Makefile.config according to your Caffe installation.
cp Makefile.config.example Makefile.config
make -j8
# Make sure to include $CAFFE_ROOT/python to your PYTHONPATH.
make py
make test -j8
# (Optional)
make runtest -j8

Makefile.config需要根據環境進行修改，我的改動如下：

# cuDNN acceleration switch (uncomment to build with cuDNN).
 

USE_CUDNN := 1

# CUDA architecture setting: going with all of them.
# For CUDA < 6.0, comment the lines after *_35 for compatibility.
# 我是cuda9.0環境，註釋掉:-gencode arch=compute_20,code=sm_20和-gencode arch=compute_20,code=sm_21
CUDA_ARCH := -gencode arch=compute_30,code=sm_30 \
             -gencode arch=
 
compute_35,code=sm_35 \
             -gencode arch=compute_50,code=sm_50 \
             -gencode arch=compute_52,code=sm_52 \
             -gencode arch=compute_61,code=sm_61

準備工作

  1. 下載VGG模型。假設模型儲存在$CAFFE_ROOT/models/VGGNet目錄。
  2. 下載VOC2007和VOC2012資料集。假設資料儲存在$HOME/data/目錄。
# Download the data.
cd $HOME/data
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
# Extract the data.
tar -xvf VOCtrainval_11-May-2012.tar
tar -xvf VOCtrainval_06-Nov-2007.tar
tar -xvf VOCtest_06-Nov-2007.tar
  1. 建立lmdb檔案
cd $CAFFE_ROOT
# Create the trainval.txt, test.txt, and test_name_size.txt in data/VOC0712/
./data/VOC0712/create_list.sh
# You can modify the parameters in create_data.sh if needed.
# It will create lmdb files for trainval and test with encoded original image:
#   - $HOME/data/VOCdevkit/VOC0712/lmdb/VOC0712_trainval_lmdb
#   - $HOME/data/VOCdevkit/VOC0712/lmdb/VOC0712_test_lmdb
# and make soft links at examples/VOC0712/
./data/VOC0712/create_data.sh

  • 問題一：執行create_list.sh報錯

    報錯資訊：

terminate called after throwing an instance of 'std::runtime_error'
  what():  locale::facet::_S_create_c_locale name not valid
./create_list.sh: line 7: 46203 Aborted                 $bash_dir/../../build/tools/get_image_size $root_dir $dst_file $bash_dir/$dataset"_name_size.txt"

可以通過export LC_ALL="C"解決。

  • 問題二：執行./create_data.sh報錯

    報錯資訊：

Traceback (most recent call last):
  File "/data/home/chuxing/AI/caffe-ssd/data/VOC0712/../../scripts/create_annoset.py", line 103, in <module>
    label_map = caffe_pb2.LabelMap()
AttributeError: 'module' object has no attribute 'LabelMap'
Traceback (most recent call last):
  File "/data/home/chuxing/AI/caffe-ssd/data/VOC0712/../../scripts/create_annoset.py", line 103, in <module>
    label_map = caffe_pb2.LabelMap()
AttributeError: 'module' object has no attribute 'LabelMap'

可以通過export PYTHONPATH=/data/home/chuxing/AI/caffe-dssd/python解決。

正常情況下的輸出：

[[email protected] /data/home/chuxing/AI/caffe-ssd/data/VOC0712]# ./create_list.sh
Create list for VOC2007 trainval...
Create list for VOC2012 trainval...
Create list for VOC2007 test...
I1125 18:00:32.029615 47232 get_image_size.cpp:61] A total of 4952 images.
I1125 18:00:34.016815 47232 get_image_size.cpp:100] Processed 1000 files.
I1125 18:00:36.004880 47232 get_image_size.cpp:100] Processed 2000 files.
I1125 18:00:38.001279 47232 get_image_size.cpp:100] Processed 3000 files.
I1125 18:00:39.987417 47232 get_image_size.cpp:100] Processed 4000 files.
I1125 18:00:41.879824 47232 get_image_size.cpp:105] Processed 4952 files.
[[email protected] /data/home/chuxing/AI/caffe-ssd/data/VOC0712]# ./create_data.sh
/data/home/chuxing/AI/caffe-ssd/build/tools/convert_annoset --anno_type=detection --label_type=xml --label_map_file=/data/home/chuxing/AI/caffe-ssd/data/VOC0712/../../data/VOC0712/labelmap_voc.prototxt --check_label=True --min_dim=0 --max_dim=0 --resize_height=0 --resize_width=0 --backend=lmdb --shuffle=False --check_size=False --encode_type=jpg --encoded=True --gray=False /data/home/chuxing/AI/caffe-ssd/data/VOCdevkit/ /data/home/chuxing/AI/caffe-ssd/data/VOC0712/../../data/VOC0712/test.txt /data/home/chuxing/AI/caffe-ssd/data/VOCdevkit/VOC0712/lmdb/VOC0712_test_lmdb
I1125 18:03:31.340348 50194 convert_annoset.cpp:122] A total of 4952 images.
I1125 18:03:31.340778 50194 db_lmdb.cpp:35] Opened lmdb /data/home/chuxing/AI/caffe-ssd/data/VOCdevkit/VOC0712/lmdb/VOC0712_test_lmdb
I1125 18:03:35.693153 50194 convert_annoset.cpp:195] Processed 1000 files.
I1125 18:03:39.981063 50194 convert_annoset.cpp:195] Processed 2000 files.
I1125 18:03:44.308907 50194 convert_annoset.cpp:195] Processed 3000 files.
I1125 18:03:48.640877 50194 convert_annoset.cpp:195] Processed 4000 files.
I1125 18:03:52.684872 50194 convert_annoset.cpp:201] Processed 4952 files.
/data/home/chuxing/AI/caffe-ssd/build/tools/convert_annoset --anno_type=detection --label_type=xml --label_map_file=/data/home/chuxing/AI/caffe-ssd/data/VOC0712/../../data/VOC0712/labelmap_voc.prototxt --check_label=True --min_dim=0 --max_dim=0 --resize_height=0 --resize_width=0 --backend=lmdb --shuffle=False --check_size=False --encode_type=jpg --encoded=True --gray=False /data/home/chuxing/AI/caffe-ssd/data/VOCdevkit/ /data/home/chuxing/AI/caffe-ssd/data/VOC0712/../../data/VOC0712/trainval.txt /data/home/chuxing/AI/caffe-ssd/data/VOCdevkit/VOC0712/lmdb/VOC0712_trainval_lmdb
I1125 18:03:53.822151 50373 convert_annoset.cpp:122] A total of 16551 images.
I1125 18:03:53.822559 50373 db_lmdb.cpp:35] Opened lmdb /data/home/chuxing/AI/caffe-ssd/data/VOCdevkit/VOC0712/lmdb/VOC0712_trainval_lmdb
I1125 18:03:59.236438 50373 convert_annoset.cpp:195] Processed 1000 files.
I1125 18:04:04.636438 50373 convert_annoset.cpp:195] Processed 2000 files.
I1125 18:04:09.896461 50373 convert_annoset.cpp:195] Processed 3000 files.
I1125 18:04:15.108736 50373 convert_annoset.cpp:195] Processed 4000 files.
I1125 18:04:20.400451 50373 convert_annoset.cpp:195] Processed 5000 files.
I1125 18:04:25.572449 50373 convert_annoset.cpp:195] Processed 6000 files.
I1125 18:04:30.748452 50373 convert_annoset.cpp:195] Processed 7000 files.
I1125 18:04:35.940444 50373 convert_annoset.cpp:195] Processed 8000 files.
I1125 18:04:41.180445 50373 convert_annoset.cpp:195] Processed 9000 files.
I1125 18:04:46.364439 50373 convert_annoset.cpp:195] Processed 10000 files.
I1125 18:04:51.645030 50373 convert_annoset.cpp:195] Processed 11000 files.
I1125 18:04:56.840816 50373 convert_annoset.cpp:195] Processed 12000 files.
I1125 18:05:02.104444 50373 convert_annoset.cpp:195] Processed 13000 files.
I1125 18:05:07.312445 50373 convert_annoset.cpp:195] Processed 14000 files.
I1125 18:05:12.572444 50373 convert_annoset.cpp:195] Processed 15000 files.
I1125 18:05:17.740444 50373 convert_annoset.cpp:195] Processed 16000 files.
I1125 18:05:20.680899 50373 convert_annoset.cpp:201] Processed 16551 files.

生成的lmdb檔案結構樹狀圖：

`-- lmdb
    |-- VOC0712_test_lmdb
    |   |-- data.mdb
    |   `-- lock.mdb
    `-- VOC0712_trainval_lmdb
        |-- data.mdb
        `-- lock.mdb

訓練

命令：

# It will create model definition files and save snapshot models in:
#   - $CAFFE_ROOT/models/VGGNet/VOC0712/SSD_300x300/
# and job file, log file, and the python script in:
#   - $CAFFE_ROOT/jobs/VGGNet/VOC0712/SSD_300x300/
# and save temporary evaluation results in:
#   - $HOME/data/VOCdevkit/results/VOC2007/SSD_300x300/
# It should reach 77.* mAP at 120k iterations.
python examples/ssd/ssd_pascal.py

訓練時實際執行的命令儲存在檔案jobs/VGGNet/VOC0712/SSD_300x300/VGG_VOC0712_SSD_300x300.sh中。

  • 問題一：invalid device ordinal

    報錯資訊如下：

F1125 21:27:39.701442 14813 parallel.cpp:130] Check failed: error == cudaSuccess (10 vs. 0)  invalid device ordinal
*** Check failure stack trace: ***
    @     0x7fcefc5dd84d  google::LogMessage::Fail()
    @     0x7fcefc5df61c  google::LogMessage::SendToLog()
    @     0x7fcefc5dd43c  google::LogMessage::Flush()
    @     0x7fcefc5dff2e  google::LogMessageFatal::~LogMessageFatal()
    @     0x7fcf04067858  caffe::DevicePair::compute()
    @     0x7fcf0406c6dc  caffe::P2PSync<>::Prepare()
    @     0x7fcf0406cc5c  caffe::P2PSync<>::Run()
    @           0x408c7c  train()
    @           0x4064cc  main
    @     0x7fcee5b06b35  __libc_start_main
    @           0x406e8d  (unknown)

解決方式：

把examples/ssd/ssd_pascal.py中的第332行改為gpus = "0"，下面是修改前的配置：

330 # Solver parameters.
331 # Defining which GPUs to use.
332 gpus = "0,1,2,3"

  • 問題二：out of memory

    報錯資訊如下：

F1125 22:03:52.982959 45117 syncedmem.cpp:56] Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
    @     0x7fb3c087a84d  google::LogMessage::Fail()
    @     0x7fb3c087c61c  google::LogMessage::SendToLog()
    @     0x7fb3c087a43c  google::LogMessage::Flush()
    @     0x7fb3c087cf2e  google::LogMessageFatal::~LogMessageFatal()
    @     0x7fb3c82ea291  caffe::SyncedMemory::to_gpu()
    @     0x7fb3c82e9579  caffe::SyncedMemory::mutable_gpu_data()
    @     0x7fb3c82dad33  caffe::Blob<>::mutable_gpu_diff()
    @     0x7fb3c8522914  caffe::CuDNNConvolutionLayer<>::Backward_gpu()
    @     0x7fb3c8319467  caffe::Net<>::BackwardFromTo()
    @     0x7fb3c83195d1  caffe::Net<>::Backward()
    @     0x7fb3c82f3c43  caffe::Solver<>::Step()
    @     0x7fb3c82f433e  caffe::Solver<>::Solve()
    @           0x40916a  train()
    @           0x4064cc  main
    @     0x7fb3a9da3b35  __libc_start_main
    @           0x406e8d  (unknown)

解決方式：

把examples/ssd/ssd_pascal.py中的第337行和第338行，把batch_size和accum_batch_size分別減小一倍，下面是修改前的。

336 # Divide the mini-batch to different GPUs.
337 batch_size = 32          #改為16
338 accum_batch_size = 32    #改為16

參考來源：

[1] https://github.com/weiliu89/caffe/tree/ssd

相關推薦

Caffe SSD編譯、訓練及測試

SSD採用VGG16作為基礎模型，然後在VGG16的基礎上新增了卷積層來獲得更多的特徵以用於檢測。SSD的網路結構如上圖所示（上面是SSD模型，下面是Yolo模型），可以明顯看到SSD利用了多尺度的特徵圖做檢測。 安裝 clone程式碼（假設程式碼clone到$CAFF

caffe-ssd編譯、訓練、測試全過程（最後有彩蛋）

大家好，終於把SSD整通了，現在我把整個過程搭建給你們講講。 caffe_ssd多目標檢查效果還是非常好的，線上測試，FPS在20左右。我的訓練的還是官方的資料集，其實我們可通過做自己的資料集得到預測模型也是可以的。 一、SSD編譯 https://github.com

caffe-SSD 安裝、訓練、SSD測試（ubuntu18.04+cuda9.0+openvc3.4）

安裝及MNIST模型測試、matlab caffe介面測試 https://blog.csdn.net/qq_35608277/article/details/84938244 自己看程式碼提供者的最直接，大家都是根據他的ｃｏｐｙ的： https://github.com/weili

caffe-ssd編譯以及訓練自己的資料集

編譯caffe之前首先要配置好cuda8.0+cuDNN5.1+opencv3.x的環境 編譯caffe 1.獲取SSD程式碼。在終端開啟想要安裝ssd程式碼的目錄，然後在終端下輸入： git clone https://github.com/weiliu89

No.2 ssd-caffe(1):編譯、安裝、測試

在這篇文章裡面總結一下ssd-caffe的安裝使用，測試以及如何使用自己的測試樣本，CUDA和OpenCV的安裝在這裡不再介紹，實驗環境Ubuntu16.04 1 . 安裝並測試ssd-caff

caffe-ssd 配置、編譯過程

大家好，終於把SSD整通了，現在我把整個過程搭建給你們講講。 caffe_ssd多目標檢查效果還是非常好的，線上測試，FPS在20左右。我的訓練的還是官方的資料集，其實我們可通過做自己的資料集得到預測模型也是可以的。 一、SSD編譯

SSD配置、訓練、測試以及應用到自己的資料集

git clone https://github.com/weiliu89/caffe.git git checkout ssd make all 如果報錯： /usr/include/boost/property_tree/detail/json_parser_r

FCN製作自己的資料集、訓練和測試 caffe

花了兩三週的時間，在導師的催促下，把FCN的全部流程走了一遍，期間走了很多彎路，現在記錄一下。系統環境：ubuntu 16.04LTS 一、資料集的製作 注：我的資料集是仿照VOC資料集進行製作的 1.resize 資料集 我的GPU視訊記憶體4G，跑過大的圖片帶不動，需要resize圖片大小，放幾

SSD 安裝、訓練、測試（ubuntu14.04+cuda7.5+openvc2.4.9）

安裝步驟 1.安裝git，下載SSD原始碼包 sudo apt-get install git git clone https://github.com/weiliu89/caffe.git cd caffe git checkout ssd 以下幾條命令是驗證相應的包是

【12】Caffe學習系列：訓練和測試自己的圖片

一、準備資料 有條件的同學，可以去imagenet的官網http://www.image-net.org/download-images，下載imagenet圖片來訓練。驗證碼始終出不來需要翻牆（是google網站的驗證碼）。但是我沒有下載，原因是資料太大了。。。 我去網上找了一些其它的圖片

caffe-ssd使用預訓練模型做目標檢測

首先參考https://www.jianshu.com/p/4eaedaeafcb4 這是一個傻瓜似的目標檢測樣例，目前還不清楚圖片怎麼轉換，怎麼驗證，後續繼續跟進 模型測試（1）圖片資料集上測試 python examples/ssd/score_ssd_pascal.py 輸出為

DL之RNN：人工智慧為你寫歌詞(林夕寫給陳奕迅)——基於TF利用RNN演算法實現【機器為你作詞】、訓練&測試過程全記錄

DL之RNN：人工智慧為你寫歌詞(林夕寫給陳奕迅)——基於TF利用RNN演算法實現【機器為你作詞】、訓練&測試過程全記錄 輸出結果 1、test01 你的揹包 一個人過我 誰不屬了 不甘心 不能回頭 我的揹包載管這個 誰讓我們是要不可 但求跟你過一生 你把我灌醉 即使嘴角

DL之RNN：人工智慧為你寫周董歌詞——基於TF利用RNN演算法實現【機器為你作詞】、訓練&測試過程全記錄

DL之RNN：人工智慧為你寫周董歌詞——基於TF利用RNN演算法實現~機器為你作詞~、訓練&測試過程全記錄 輸出結果 1、test01 夕海 而我在等待之光 在月前被畫面 而我心碎 你的個世紀 你的時間 我在趕過去 我的不是你不會感覺媽媽 我說不要不要說 我會愛你 我不要你不

Android busybox的編譯、使用及安裝

busybox是什麼？      （1）busybox是Linux上的一個應用程式(application)，即只有一個ELF檔案頭。      （2）它整合了許多Linux上常用的工具和命令（utilities)，

Android Vendor Test Suite (VTS) 的概念、作用及測試方法--

Android Vendor Test Suite (VTS) 的概念、作用及測試方法 Qidi　2017.08.01 (Markdown & H

MariaDB ColumnStore初探(1)：安裝、使用及測試

  相信大家在對接BI資料報表部門有很深刻的體驗，高大上的複雜SQL關聯JOIN十幾張表在InnoDB裡跑起來，會讓你酸爽到死。它的出現正是解決這個問題，DBA能不能輕鬆愉快地玩耍，就要靠它了，“神州行我看行”。   通過本文，會讓大家都可以動手玩起來。我們的口號：接地氣！ &nb

Caffe-ssd編譯錯誤：Makefile:570: recipe for target '.build_release/lib/libcaffe.so.1.0.0-rc3' failed

在編譯Caffe-SSD時候遇到以下問題： Makefile:570: recipe for target '.build_release/lib/libcaffe.so.1.0.0-rc3' fail

pytorch: 準備、訓練和測試自己的圖片資料

大部分的pytorch入門教程，都是使用torchvision裡面的資料進行訓練和測試。如果我們是自己的圖片資料，又該怎麼做呢？ 一、我的資料 我在學習的時候，使用的是fashion-mnist。這個資料比較小，我的電腦沒有GPU，還能吃得消。關於fashion-mnist資料，可以百度，也可以 點此 瞭解

faster-rcnn之caffe下利用vgg16訓練及預測

工作中經常用到py-faster-rcnn做圖片的檢測與識別，訓練過程有必要記錄一下，下面是參照網上的一些資料整理實踐後的總結： py-faster-rcnn的github地址：https://github.com/rbgirshick/py-faster-r

linux下編譯、連線及執行時環境變數設定（boost庫為例）

以boost庫的存放目錄/usr/boost為例, 開啟/etc/profile, 追加以下內容（前兩行為編譯時路徑）: export CPLUS_INCLUDE_PATH=/usr/boost/include:$CPLUS_INCLUDE_PATH export LIB