2. 程式人生 > >caffe實現多標籤分類

caffe實現多標籤分類

阿新 • • 發佈：2018-12-12

最近在參加一個識別的競賽，專案裡涉及了許多類別的分類，原本打算一個大的類別訓練一個分類模型，但是這樣會比較麻煩，對於同一圖片的分類會重複計算分類網路中的卷積層，浪費計算時間和效率。後來發現現在深度學習中的多工學習可以實現多標籤分類，所有的類別只需要訓練一個分類模型就行，其不同屬性的類別之間是共享卷積層的。我所有的專案開發都是基於caffe框架的，預設的，Caffe中的Data層只支援單維標籤，不支援多標籤分類。我也是參考了大牛的部落格修改了caffe裡面的原始碼，使得caffe支援多標籤分類。下面介紹怎麼在caffe中修改原始碼支援多標籤，包括訓練和測試過程的修改。  　　Caffe原始碼修改：

  　　需要修改Caffe中的convert_imageset.cpp以支援多標籤，convert_imageset.cpp是在caffe的根目錄下的tools檔案下。我是直接下載了修改後的convert_imageset.cpp替換了我原來的convert_imageset.cpp。然後需要重新編譯caffe，進入caffe目錄下，輸入指令：  　　make clean  　　make –j4  　　make pycaffe  好了，到了這裡如果沒有出錯caffe就可以支援多標籤分類了，接下來就是根據自己的資料和多標籤類別數目訓練網路模型。  注：基於好多人找我要convert_imageset.cpp，我把它上傳了： 
http://download.csdn.net/detail/xjz18298268521/9776275  需要的可以自己去下載。  　修改程式碼如下：

　std::ifstream infile(argv[2]);
    std::vector<std::pair<std::string, std::vector<float>> > lines;
    std::string filename;
    std::string label_count_string = argv[5];
    int label_count = std::atoi(label_count_string.c_str());
    std
 
::vector<float> label(label_count);
    while (infile >> filename)
    {
        for (int i = 0; i < label_count;i++)
            infile >> label[i];
        lines.push_back(std::make_pair(filename, label));
    }
    // Create new DB
    scoped_ptr<db::DB> db_image(db::GetDB(FLAGS_backend));
    scoped_ptr<db::DB> db_label(db::GetDB(FLAGS_backend));
    db_image->Open(argv[3], db::NEW);
    db_label->Open(argv[4], db::NEW);
    scoped_ptr<db::Transaction> txn_image(db_image->NewTransaction());
scoped_ptr<db::Transaction> txn_label(db_label->NewTransaction());
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

訓練模型：  　　上面我們就有了多工的深度學習的基礎部分資料輸入。為了向上相容Caffe框架，我也是參考了大牛的部落格，摒棄了部分開源實現增加Data層標籤維度選項並修改Data層程式碼的做法，直接使用兩個Data層將資料讀入，即分別讀入資料和多維標籤。接下來詳細介紹訓練所需要做的步驟以及和修改。  　

1. Lmdb的資料製作  　　 由於篇幅的原因，我只貼了部分主要的程式碼圖，注意下圖示紅的部分，第一個是你多標籤所需要的類別數目，第二個是一些資料的路徑。  　　由於現在為了支援多標籤，把資料和標籤分開了，以前的單標籤在data層資料和標籤在一起的對應的（自己的理解）。所以第三和第四初標紅的是test和train最後用於訓練的lmdb資料和對應多維標籤。這製作lmdb指令碼檔案我會放在我的部落格資源上:  　　http://download.csdn.net/detail/xjz18298268521/9708564  　　你們可以根據自己的需求下載後自己修改，執行指令碼檔案後，相對應的路徑下會生成對應的四個lmdb資料檔案。到這裡lmdb的資料製作完畢，後面的均值檔案的製作和原來的是一樣的。  　　這裡寫圖片描述２．修改訓練網路模型train_val.prototxt

#訓練資料層
name: "CaffeNet"
layer {
  name: "data"
  type: "Data"
  top: "data"  #原來的是兩層top
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 227
    mean_file: "/home/xjz/multiple-caffe/caffe-master/examples/multiple-lable/caffenet/mean.binaryproto"
  }
  data_param {
    source: "/home/xjz/multiple-caffe/caffe-master/examples/multiple-lable/caffenet/ten_classes_train_lmdb"
    batch_size: 128
    backend: LMDB
  }
}
#訓練資料標籤層
layer {
  name: "data"
  type: "Data"
  top: "label"
  include {
    phase: TRAIN
  }
  data_param {
    source: "/home/xjz/multiple-caffe/caffe-master/examples/multiple-lable/caffenet/ten_classes_train_label_lmdb"
    batch_size: 128
    backend: LMDB
  }
}
#測試資料層
layer {
  name: "data"
  type: "Data"
  top: "data"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 227
    mean_file: "/home/xjz/multiple-caffe/caffe-master/examples/multiple-lable/caffenet/mean.binaryproto"
  }
  data_param {
    source: "/home/xjz/multiple-caffe/caffe-master/examples/multiple-lable/caffenet/ten_classes_val_lmdb"
    batch_size: 100
    backend: LMDB
  }
}
#測試資料標籤層
layer {
  name: "data"
  type: "Data"
  top: "label"
  include {
    phase: TEST
  }
  data_param {
    source: "/home/xjz/multiple-caffe/caffe-master/examples/multiple-lable/caffenet/ten_classes_val_label_lmdb"
    batch_size: 100
    backend: LMDB
  }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67

　　修改完網路模型的data層，後面需要將標籤資料庫中的內容進行切分，拆分成各個屬性的標籤，需要新增Slice層，Slice層是將一個輸入層根據切割指標給定的維度（現在只有num和channel）切割成多個輸出層，如下圖所示。有幾類標籤就定義幾類top並命名不同，用於連線最後的accuracy層。對於slice層的引數:

  • slice_dim: 目標維度,0 for num and 1for channel,一般選1；
  • slice_point：指定選定維數的索引（索引的數量必須等於blob數量減去一），我一共是4，所以減一為3。  　　　　　　　　　　　這裡寫圖片描述 ３．最後的損失函式的設計  　 　以前單標籤的時候，只需要設計一個損失函式，現在是多標籤分類需要設計多個損失函式層，使得每一大類別對應一個損失函式層，下圖是一個類別的損失函式層和對應的test層：  對於Accuracy層中的兩個bottom：第一個需要連線對應的全連線層，第二個需要連線前面用slice層切割對應的標籤層。  　　對於softmaxwithloss層的兩個bottom：第一個需要連線對應的全連線層，第二個需要連線前面用slice層切割對應的標籤層。Loss_weight:需要填寫這個損失函式的損失值在最終總的損失函式值中所佔的權重值，一般的，建議所有任務的權重值相加為1，如果這個數值不設定，可能會導致網路收斂不穩定，這是因為多工學習中對不同任務的梯度進行累加，導致梯度過大，甚至可能引發引數溢位錯誤導致網路訓練失敗。  　　　　　　　　　這裡寫圖片描述  　　這裡還有一個問題，就是以前單標籤的時候，最後一層的全連線層fc8層的out_num是固定的，大小是根據單標籤分類的類別數目來定的，而現在多標籤中的每一個標籤的類別屬性大小是不同一的。所以這裡在每一標籤對應的損失函式前新增一個全連線層，對應的輸出out_num大小等於對應標籤的類別數目。新增的所有全連線層都連線到原來的第二個全連線層，即fc7層，如下圖所示，到這裡訓練基本的都準備完畢，後面的訓練的步驟和原來單標籤的訓練基本是一樣的，接下來就可以訓練了。  　　　　　　　　　　這裡寫圖片描述 測試過程  　　修改deploy.prototxt檔案，前面的網路層是不需要修改的，只需要修改對應的最後一層全連線層和損失函式層，修改的方式和前面訓練trian_val.prototxt的是一樣的，每一個標籤類別需要一個屬於自己的全連線層和損失函式層，如下圖所示：  　　　　　　　　　　這裡寫圖片描述

相關推薦

caffe實現多標籤分類

最近在參加一個識別的競賽，專案裡涉及了許多類別的分類，原本打算一個大的類別訓練一個分類模型，但是這樣會比較麻煩，對於同一圖片的分類會重複計算分類網路中的卷積層，浪費計算時間和效率。後來發現現在深度學習中的多工學習可以實現多標籤分類，所有的類別只需要訓練一個分類模型就行，其不同屬性的類別之間是共享卷積層的。我

Caffe 實現多標籤分類 支援Multi-Label的ＬＭＤＢ資料格式輸入

Caffe自帶的影象轉LMDB介面只支援單label，對於多label的任務，可以使用HDF5的格式，也可以通過修改caffe程式碼來實現，　我的文章Caffe 實現多標籤分類　裡介紹了怎麼通過修改ImageDataLayer來實現Multilabel的任務，　本篇文章介紹

Caffe 實現多標籤分類

最近在用Ｃａｆｆｅ做驗證碼識別時，發現沒有用Tensorflow簡單(tensorflow中可以用one-hot, 參考我的另一篇blog:  http://blog.csdn.net/sushiqian/article/details/78305340 )，需要修改Ｃａｆ

Caffe實現多標籤影象分類（1）——基於Python介面實現多標籤影象分類（VOC2012）

1.前言         Caffe可以通過LMDB或LevelDB資料格式實現影象資料及標籤的輸入，不過這隻限於單標籤影象資料的輸入。由於研究生期間所從事的研究是影象標註領域，在進行影象標註時，每幅影象都是多標籤的，因此在使用Caffe進行遷移學習時需要實現多標籤影象資料

基於keras實現多標籤分類（multi-label classification）

首先討論多標籤分類資料集（以及如何快速構建自己的資料集）。 之後簡要討論SmallerVGGNet，我們將實現的Keras神經網路架構，並用於多標籤分類。 然後我們將實施SmallerVGGNet並使用我們的多標籤分類資料集對其進行訓練。 最後，我們將通過在示例影象上測試我

2.CNN圖片多標籤分類（基於TensorFlow實現驗證碼識別OCR）

上一篇實現了圖片CNN單標籤分類（貓狗圖片分類任務） 地址：juejin.im/post/5c0739… 預告：下一篇用LSTM+CTC實現不定長文字的OCR，本質上是一種不固定標籤個數的多標籤分類問題 本文所用到的10w驗證碼資料集百度網盤下載地址（也可使用下文程式碼自行生成）： pan.baidu

Caffe中LMDB介面實現多標籤資料準備及訓練

有不少部落格講Caffe多標籤輸入的問題，但總覺得講的不夠透徹，在實踐角度上沒有給出詳細的指導，所以本文力求能給出詳細的實踐過程和說明。 Caffe多標籤輸入常用的的方法有以下幾種： 1. 修改Caffe原始碼使其支援多標籤輸入，參考CSDN部落格《

caffe多工學習之多標籤分類

最近在參加一個識別的競賽，專案裡涉及了許多類別的分類，原本打算一個大的類別訓練一個分類模型，但是這樣會比較麻煩，對於同一圖片的分類會重複計算分類網路中的卷積層，浪費計算時間和效率。後來發現現在深度學習中的多工學習可以實現

caffe實現多任務學習

mdb ice 學習 caf tro con targe slice eset 1. 采用多label的lmdb+Slice Layer的方法 http://blog.csdn.net/u013010889/article/details/53098346 2. 修改數

多標籤分類的結果評估---macro-average和micro-average介紹

一,多分類的混淆矩陣 多分類混淆矩陣是二分類混淆矩陣的擴充套件 祭出程式碼,畫線的那兩行就是關鍵啦: 二,檢視多分類的評估報告 祭出程式碼,使用了classicfication_report() 三,巨集平均與微平均 公式是神看的,我是學弱...直接看例子,沒有複雜的公

多標籤分類(multi-label classification)

意義         網路新聞往往含有豐富的語義，一篇文章既可以屬於“經濟”也可以屬於“文化”。給網路新聞打多標籤可以更好地反應文章的真實意義，方便日後的分類和使用。 難點 (1)類標數量不確定，有些樣本可能只有一個類標，有些樣本的類標可能高達幾十甚至上百個。 

針對科技文章的多標籤分類

0. 起 　　最近沒有更新。暑假之後學的東西也比較雜，看了一下基於DL的智慧美顏，感覺入了個大坑。前前後後看了傳統的輪廓提取演算法和FCN等等，調程式碼巴拉巴拉幾個星期就這麼過了。前幾天看ACM的best paper也覺得很有意思，兩個步驟：1）給圖片打標題，屬於多媒體計算和NLP的結合 2）由標題生成詩歌

資料庫百科---實現多標籤篩選

一、背景 在一些視訊網站（如：優酷、愛奇藝等），都會有篩選功能。 但當我使用這個篩選功能時，發現其只能進行單型別篩選，例如電影型別只能按某一種型別進行篩選。如果想看既是科幻電影又是戰爭的電影呢？顯然單個標籤型別篩選是滿足不了這個需求的，接下來簡要談談我的實現方法。

解決多標籤分類問題(包括案例研究)

由於某些原因，迴歸和分類問題總會引起機器學習領域的大部分關注。多標籤分類在資料科學中是一個比較令人頭疼的問題。在這篇文章中，我將給你一個直觀的解釋，說明什麼是多標籤分類，以及如何解決這個問題。 1.多標籤分類是什麼? 讓我們來看看下面的圖片。 如果我問你這幅圖中有一

來自語義資訊理論的多標籤分類方法——有簡單方法幹嘛要用複雜的？

流行的多標籤分類方法大多把多分類化為多個二分類。流行的有One-to-Rest方法和Binary Relevance方法。 One-to-Rest方法的問題是， 圍繞一個標籤y1分類， 把一個沒有y的例子當成y1的反例， 這時不對的。 比如兩個例子（25歲， “年輕人”）和

Python和PyTorch對比實現多標籤softmax + cross-entropy交叉熵損失及反向傳播

相關 關於 softmax + cross-entropy 的詳細介紹, 請參考 : BrightLamp. 多標籤softmax + cross-entropy交叉熵損失函式詳解及反向傳播中的梯度求導[EB/OL]. https://blog.csdn.net

多標籤分類之改進的神經網路方法

Improved Multilabel Classification with Neural Networks 2008 International Conference on Parallel Problem Solving from Nature Rafa

keras 自定義ImageDataGenerator用於多標籤分類

感想 keras提供了flow_from_directory用於單個標籤分類，但是對圖片的多標籤分類沒有支援，這就需要我們自己動手實現ImageDataGenerator,我這裡把我實現的用於多標籤分類的自定義DataGenerator分享出來，讀者可以根據自己的情況來進行修改。 資料集

多標籤分類（multilabel classification ）

為了區分多分類，先從基本的概念上開始： 二分類：投擲硬幣，結果是正面或者反面，可以選擇的類別只有兩個，並且確切的結果只能有一個，類別互斥，即一枚硬幣的投擲結果要麼是正面要麼是反面，不同同時出現 多分

keras解決多標籤分類問題

multi-class classification problem： 多分類問題是相對於二分類問題（典型的0-1分類）來說的，意思是類別總數超過兩個的分類問題，比如手寫數字識別mnist的label總數有10個，每一個樣本的標籤在這10箇中取一個。 mult