2. 程式人生 > >影象語義分割：從頭開始訓練deeplab v2系列之一【原始碼解析】

影象語義分割：從頭開始訓練deeplab v2系列之一【原始碼解析】

阿新 • • 發佈：2019-02-04

好記性不如爛筆頭, 最近用Deeplab v2跑的影象分割，現記錄如下。
官方原始碼地址如下：https://bitbucket.org/aquariusjay/deeplab-public-ver2/overview
但是此原始碼只是為deeplab網路做相應變形的caffe,如果需要fine tuning微調網路，還需要準備以下檔案：

1.建立deeplab資料夾, 並下載deeplab原始碼

cd ~
mkdir deeplab
cd deeplab
git clone https://bitbucket.org/aquariusjay/deeplab-public-ver2.git

2.依次建立存放設定資料夾，預測結果資料夾，資料集txt資料夾，log資料夾，model資料夾，evaluation資料夾

mkdir  -p ~/deeplab/exper/voc12/config/deeplab_largeFOV
mkdir  -p
 
 ~/deeplab/exper/voc12/features/labels
mkdir -p ~/deeplab/exper/voc12/features2/labels
mkdir -p ~/deeplab/exper/voc12/list
mkdir -p ~/deeplab/exper/voc12/log 
mkdir -p ~/deeplab/exper/voc12/model/deeplab_largeFOV
mkdir -p ~/deeplab/exper/voc12/res

3.下載官方給的txt資料夾，以及預訓練的model和網路結構檔案，如上所示。

有時候可能會打不開網頁，無法訪問，也可以在我的資源中下載，我已經原資料打包上傳，

無法在官網下載就點這裡
如下：
這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

4. 把下載解壓後的相應檔案移動到相應資料夾

以prototxt為字尾的網路結構檔案train.prototxt 、test.prototxt 以及solver.prototxt檔案移動到~/deeplab/exper/voc12/config/deeplab_largeFOV
資料夾下.

unzip prototxt_and_model.zip
mv *.prototxt ~/deeplab/exper/voc12/config/deeplab_largeFOV
mv *.caffemodel ~/deeplab/exper/voc12/model/deeplab_largeFOV
unzip link.zip
cd link
mv * ~/deeplab/exper/voc12
unzip list.zip
cd list
mv * ~/deeplab/exper/voc12/list

5.資料集處理

對於其他影象分割的資料集，我們也可以處理成類似voc2012資料集的格式，進行fine tuning, 這裡分別有對
pascal context資料集和nyu v2資料集的資料處理說明。

6.指令碼檔案解析與修改方法

deeplab v2原始碼直接第一次使用的話確實有很多坑，其中除了資料集要注意的地方，大部分的坑在指令碼檔案。不過執行成功之後再換其他資料集，真的很方便，不需要改網路檔案和文字檔案，只需要修改指令碼檔案script，就會自動生成相應的網路結構檔案和txt檔案，所以學會修改指令碼檔案至關重要
訓練速度相對於某些影象分割的網路超快，而且即使你的分類數超過255類，也沒關係。
上圖我選的459類的資料集訓練結果
這裡寫圖片描述

deeplab2的script檔案run_pascal.sh 解析

#!/bin/sh 

## MODIFY PATH for YOUR SETTING
ROOT_DIR= 

CAFFE_DIR=../code #你的caffe路徑，clone作者的deeplab v2得到deeplab-public-ver2資料夾，即為此處caffe路徑， 注意：此處caffe要編譯
CAFFE_BIN=${CAFFE_DIR}/.build_release/tools/caffe.bin 

EXP=voc12 #此目錄路徑~/deeplab/exper/voc12

if [ "${EXP}" = "voc12" ]; then
    NUM_LABELS=21
    DATA_ROOT=${ROOT_DIR}/rmt/data/pascal/VOCdevkit/VOC2012 #VOC資料目錄，修改為你的資料目錄 
else
    NUM_LABELS=0
    echo "Wrong exp name"
fi


## Specify which model to train
########### voc12 ################
NET_ID=deelab_largeFOV  ##此處檔名有問題應該改為deeplab_largeFOV


## Variables used for weakly or semi-supervisedly training
#TRAIN_SET_SUFFIX=
#TRAIN_SET_SUFFIX=_aug   #此處應該取消註釋，當你run training 1時

#TRAIN_SET_STRONG=train  
#TRAIN_SET_STRONG=train200
#TRAIN_SET_STRONG=train500
#TRAIN_SET_STRONG=train1000
#TRAIN_SET_STRONG=train750

#TRAIN_SET_WEAK_LEN=5000

DEV_ID=0

#####

## Create dirs

CONFIG_DIR=${EXP}/config/${NET_ID} #此處目錄為/voc12/config/deeplab_largeFOV
MODEL_DIR=${EXP}/model/${NET_ID} 
mkdir -p ${MODEL_DIR} #建立MODEL_DIR目錄為/voc12/model/deeplab_largeFOV
LOG_DIR=${EXP}/log/${NET_ID}
mkdir -p ${LOG_DIR}
export GLOG_log_dir=${LOG_DIR}

## Run

RUN_TRAIN=1 #為1說明執行train
RUN_TEST=1  #為1說明執行test
RUN_TRAIN2=0
RUN_TEST2=0

## Training #1 (on train_aug)

if [ ${RUN_TRAIN} -eq 1 ]; then  #r如果RUN_TRAIN為1
    #
    LIST_DIR=${EXP}/list
    TRAIN_SET=train${TRAIN_SET_SUFFIX}
    if [ -z ${TRAIN_SET_WEAK_LEN} ]; then #如果TRAIN_SET_WEAK_LEN長度為零則為真
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt #comm -3 指令為不輸出兩個檔案共有的行，此處即為除去train.txt檔案中train_aug.txt的資料，其他都輸出到train_aud_diff_train.txt
    else
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}_head${TRAIN_SET_WEAK_LEN}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt | head -n ${TRAIN_SET_WEAK_LEN} > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    fi
    #
    MODEL=${EXP}/model/${NET_ID}/init.caffemodel #下載的vgg16或者ResNet101中的 model
    #
    echo Training net ${EXP}/${NET_ID}
    for pname in train solver; do
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/${pname}.prototxt > ${CONFIG_DIR}/${pname}_${TRAIN_SET}.prototxt #複製檔案train.prototxt到train_train_train_aug.prototxt,slove同理
    done #此部分執行時如以下命令
        CMD="${CAFFE_BIN} train \
         --solver=${CONFIG_DIR}/solver_${TRAIN_SET}.prototxt \
         --gpu=${DEV_ID}"
        if [ -f ${MODEL} ]; then
                CMD="${CMD} --weights=${MODEL}"
        fi
        echo Running ${CMD} && ${CMD}  
fi
#train部分執行時，即以下執行命令 ../deeplab-public-ver2/.build_release/tools/caffe.bin train --solver=volab_largeFOV/solver_train_aug.prototxt --gpu=0 --weights=voc12/model/deeplab_largeFOV/init.caf   femodel
#上述命令中，solver_train_aug.prototxt由solve.prototxt檔案複製而來，init.caffemodel為原始下載了的VGG16的model
## Test #1 specification (on val or test)

if [ ${RUN_TEST} -eq 1 ]; then
    #
    for TEST_SET in val; do
                TEST_ITER=`cat ${EXP}/list/${TEST_SET}.txt | wc -l` #此處計算val.txt檔案中測試圖片個數，共1449個
                MODEL=${EXP}/model/${NET_ID}/test.caffemodel
                if [ ! -f ${MODEL} ]; then
                        MODEL=`ls -t ${EXP}/model/${NET_ID}/train_iter_*.caffemodel | head -n 1`
                fi
                #
                echo Testing net ${EXP}/${NET_ID}
                FEATURE_DIR=${EXP}/features/${NET_ID}
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc8
        mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc9
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/seg_score
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/test.prototxt > ${CONFIG_DIR}/test_${TEST_SET}.prototxt
                CMD="${CAFFE_BIN} test \
             --model=${CONFIG_DIR}/test_${TEST_SET}.prototxt \
             --weights=${MODEL} \
             --gpu=${DEV_ID} \
             --iterations=${TEST_ITER}"
                echo Running ${CMD} && ${CMD}
    done
fi
#test部分執行時，即以下執行命令../deeplab-public-ver2/.build_release/tools/caffe.bin test --model=voc12/config/deeplab_largeFOV/test_val.prototxt --weights=voc12/model/deeplab_largeFOV/train_iter_20000.caffemodel --gpu=0 --iterations=1449
#上述命令中，test_val.prototxt由test.prototxt檔案複製而來，train_iter_20000.caffemode由第一部分train得到的model
## Training #2 (finetune on trainval_aug)

if [ ${RUN_TRAIN2} -eq 1 ]; then
    #
    LIST_DIR=${EXP}/list
    TRAIN_SET=trainval${TRAIN_SET_SUFFIX}
    if [ -z ${TRAIN_SET_WEAK_LEN} ]; then
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    else
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}_head${TRAIN_SET_WEAK_LEN}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt | head -n ${TRAIN_SET_WEAK_LEN} > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    fi
    #
    MODEL=${EXP}/model/${NET_ID}/init2.caffemodel
    if [ ! -f ${MODEL} ]; then
                MODEL=`ls -t ${EXP}/model/${NET_ID}/train_iter_*.caffemodel | head -n 1`
    fi
    #
    echo Training2 net ${EXP}/${NET_ID}
    for pname in train solver2; do
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/${pname}.prototxt > ${CONFIG_DIR}/${pname}_${TRAIN_SET}.prototxt
    done
    CMD="${CAFFE_BIN} train \
         --solver=${CONFIG_DIR}/solver2_${TRAIN_SET}.prototxt \
         --weights=${MODEL} \
         --gpu=${DEV_ID}"
        echo Running ${CMD} && ${CMD}
fi

## Test #2 on official test set

if [ ${RUN_TEST2} -eq 1 ]; then
    #
    for TEST_SET in val test; do
                TEST_ITER=`cat ${EXP}/list/${TEST_SET}.txt | wc -l`
                MODEL=${EXP}/model/${NET_ID}/test2.caffemodel
                if [ ! -f ${MODEL} ]; then
                        MODEL=`ls -t ${EXP}/model/${NET_ID}/train2_iter_*.caffemodel | head -n 1`
                fi
                #
                echo Testing2 net ${EXP}/${NET_ID}
                FEATURE_DIR=${EXP}/features2/${NET_ID}
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc8
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/crf
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/test.prototxt > ${CONFIG_DIR}/test_${TEST_SET}.prototxt
                CMD="${CAFFE_BIN} test \
             --model=${CONFIG_DIR}/test_${TEST_SET}.prototxt \
             --weights=${MODEL} \
             --gpu=${DEV_ID} \
             --iterations=${TEST_ITER}"
                echo Running ${CMD} && ${CMD}
    done
fi

相關推薦

影象語義分割：從頭開始訓練deeplab v2系列之一【原始碼解析】

好記性不如爛筆頭, 最近用Deeplab v2跑的影象分割，現記錄如下。 官方原始碼地址如下：https://bitbucket.org/aquariusjay/deeplab-public-ver2/overview 但是此原始碼只是為deeplab網路

影象語義分割：從頭開始訓練deeplab v2系列之三【pascal-context資料集】

在之前的部落格已經講過deeplab v2原始碼解析與基於VOC2012資料集的訓練，本部落格基於pascal-context資料集進行fine tuning txt檔案：檔案中有資料集的名字列表的txt檔案,此處不同於原始碼，在pascal-con

影象語義分割：從頭開始訓練deeplab v2系列之四【nyu v2資料集】

txt檔案：檔案中有資料集的名字列表的txt檔案,此處不同於原始碼，在pascal-context資料集上自己製作，訓練測試集列表 網路結構prototxt檔案: train.prototxt和solver.prototxt，分別在：DeepLa

影象語義分割 DeepLab v3+ 訓練自己的資料集

環境：ubuntu 16.04 + TensorFlow 1.6.1 + cuda 9.0 + cudnn 7.0 +python2.7 tensorflow 專案連結 https://github.com/tensorflow/models.git下載後解壓，所需要的工程在

DeepLab：深度卷積網路，多孔卷積 和全連線條件隨機場 的影象語義分割 Semantic Image Segmentation with Deep Convolutional Nets, Atro

深度卷積網路，多孔卷積 和全連線條件隨機場 的影象語義分割 Taylor Guo, 2017年5月03日 星期三 摘要 本文的主要任務是深度學習的影象語義分割，主要有3個方面的貢獻，有重要的實踐價值。首先， 用上取樣濾波器進行卷積，或“多孔卷積”,

語義分割：使用關係圖輔助影象分割-Capsule Network、IceNet

文章：在SceneParsing上準確率暫時得到第一的IceNet        https://hszhao.github.io/projects/icnet/        文章：https://arxiv.org/pdf/1704.08545.pdf       優化方

影象語義分割標註工具labelme製作自己的資料集用於mask-rcnn訓練

labelme（標註mask資料集用的） windows python2 pip install pyqt pip install labelme python3 pip install pyqt5 pip install labelm

轉：從頭開始編寫基於隱含馬爾可夫模型HMM的中文分詞器

lan reverse single trim 地址 note str rip resources http://blog.csdn.net/guixunlong/article/details/8925990 從頭開始編寫基於隱含馬爾可夫模型HMM的中文分詞器之一 - 資

影象語義分割技術

https://www.leiphone.com/news/201705/YbRHBVIjhqVBP0X5.html 大多數人接觸 “語義” 都是在和文字相關的領域，或語音識別，期望機器能夠識別你發出去的訊息或簡短的語音，然後給予你適當的反饋和回覆。嗯，看到這裡你應該已經猜到了，影象領域也是存

基於深度學習的影象語義分割技術概述之4常用方法 5.4未來研究方向

https://blog.csdn.net/u014593748/article/details/72794459 本文為論文閱讀筆記，不當之處，敬請指正。 A Review on Deep Learning Techniques Applied to Semantic Segmen

keras 學習筆記：從頭開始構建網路處理 mnist

全文參考 《 基於 python 的深度學習實戰》   import numpy as np from keras.datasets import mnist from keras.models import Sequential from keras.layers import Den

影象語義分割文章彙總（附論文連結和公開程式碼）

吶，我也是做影象分割的啦，最近看到有大佬整理了影象分割方面最新的論文，覺得很有幫助，就轉載過來了，感覺又有很多要學的內容了。   Semantic Segmentation Adaptive Affinity Field for Sem

【影象語義分割】Semantic Segmentation Suite in TensorFlow---GitHub_Link

Semantic Segmentation Suite in TensorFlow News What's New Added the BiSeNet model from ECCV 2018! Added the Dense Decoder Shor

ASP.NET Core 2.0和Angular 4：從頭開始構建用於車輛管理的Web應用程式

  目錄 介紹 背景 使用程式碼 I）伺服器端 a）先決條件 b）設定專案 c）設定資料庫 d）使用AutoMapper e）使用Swagger f）執行API II）客戶端 a）先決條件 b）設定專案 c）實現服務 d）

基於深度學習的影象語義分割演算法綜述（截止20180715）

這篇文章講述卷積神經網路在影象語義分割（semantic image segmentation）的應用。影象分割這項計算機視覺任務需要判定一張圖片中特定區域的所屬類別。 這個影象裡有什麼？它在影象中哪個位置？ 更具體地說，影象語義分割的目標是將影象的每個畫素所

影象語義分割之FCN和CRF

前言 (嘔血製作啊！)前幾天剛好做了個影象語義分割的彙報，把最近看的論文和一些想法講了一下。所以今天就把它總結成文章啦，方便大家一起討論討論。本文只是展示了一些比較經典和自己覺得比較不錯的結構，畢竟這方面還是有挺多的結構方法了。 介紹 影象語義分

如何用Keras從頭開始訓練一個在CIFAR10上準確率達到89%的模型

•https://zhuanlan.zhihu.com/p/29214791CIFAR10 是一個用於影象識別的經典資料集，包含了10個型別的圖片。該資料集有60000張尺寸為 32 x 32 的彩色圖片，其中50000張用於訓練，10000張用於測試。[CIFAR10]在幾

使用深度學習技術的影象語義分割最新綜述

http://abumaster.com/2017/07/10/%E4%BD%BF%E7%94%A8%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%8A%80%E6%9C%AF%E7%9A%84%E5%9B%BE%E5%83%8F%E8%AF

當前主流的深度學習影象語義分割模型解析

轉載自【量子位】公眾號 QbitAI原文地址：http://www.sohu.com/a/155907339_610300影象語義分割就是機器自動從影象中分割出物件區域，並識別其中的內容。量子位今天推薦的這篇文章，回顧了深度學習在影象語義分割中的發展歷程。釋出這篇文章的Qur

推薦一些用CRF做影象語義分割的資源 此博文包含圖片

(201http://blog.csdn.net/moonzjaw/article/details/46744163http://blog.csdn.net/moonzjaw/article/details/467441632-04-19 17:32:11) (adsbygoo