多標籤分類之改進的神經網路方法

阿新 • • 發佈：2018-12-22

Improved Multilabel Classification with Neural Networks

2008 International Conference on Parallel Problem Solving from Nature

Rafał Grodzicki, Jacek Mańdziuk, and Lipo Wang，南洋理工

摘要

這裡提出了對現有神經網路多標記分類演算法BP-MLL的一些改進。這些修改涉及BP-MLL中使用的全域性誤差函式的形式。

改進BP-MLL

簡要介紹

BP-MLL具有一個隱藏層以及來自輸入和隱藏層的額外偏差。輸入圖層的大小等於例項域維度（加上偏置神經元）。輸出層的大小等於標籤的數量（即Q）。訓練基於經典的BP演算法，但為了解決標籤之間的依賴關係，提出了以下形式的新的全域性誤差函式和閾值訓練方法：
$E$

=∑p=1mEp=∑i=1m1∣Yp∣∣Y‾p∣∑(r,s)∈Yp×Y‾pexp⁡(−(crp−csp))E = \sum _ { p = 1 } ^ { m } E _ { p } = \sum _ { i = 1 } ^ { m } \frac { 1 } { \left| Y _ { p } \right| \left| \overline { Y } _ { p } \right| } \sum _ { ( r , s ) \in Y _ { p } \times \overline { Y } _ { p} } \exp \left( - \left( c _ { r } ^ { p } - c _ { s } ^ { p } \right) \right)

E = p = 1 \sum m E_{p} = i = 1 \sum m ∣ Y _{p} ∣ ∣ ∣ Y _{p} ∣ ∣ 1 (r, s) \in Y_{p} \times \overline{Y}_{p} \sum exp (- (c_{r}^{p} - c_{s}^{p}))

h \left( x _ { p } \right) = \left\{ q \in Y : c _ { q } \left( x _ { p } \right) &gt; t \left( x _ { p } \right) \right\} , c _ { q } \left( x _ { p } \right) = c _ { q } ^ { p }

這裡把

t(x)

看成是

c(x)

的線性函式，

t ( \mathbf { x } ) = \mathbf { w } ^ { \mathrm { T } } \cdot c ( \mathbf { x } ) + b

,其中

c ( \mathbf { x } ) = \left( c _ { 1 } ( \mathbf { x } ) , c _ { 2 } ( \mathbf { x } ) , \ldots , c _ { Q } ( \mathbf { x } ) \right)

。

誤差函式修改

在本文中，我們提出了[1]中使用的誤差函式的一些改進。第一個引入的修改是將閾值整合到BP-MLL中使用的誤差函式中。它導致以下形式的錯誤函式：

這種方法是多增加一個神經元，最後輸出神經元的值（ $C _ { Q } ^ { p }$ ）被解釋為閾值。剩餘輸出神經元的含義與使用BP-MLL方法的情況相同。建議的解決方案允許通過神經網路學習期間的適應來確定閾值。

通過為不同標籤引入獨立閾值，可以進一步推廣上述誤差函式：

這種方法增加一倍的神經元，考慮每個類別q的兩個輸出神經元（由2q和2q + 1索引）。它們中的第一個（數字2q）表示相應類別（標籤）的輸出，而另一個（數字2q + 1）定義第q類別的相應閾值。

考慮相關標籤（不相關標籤）集合中所有標籤和標籤閾值兩兩相比較
基於上式，考慮增加相關標籤的閾值和不相關標籤的閾值兩兩相比較

多標籤分類之改進的神經網路方法

Improved Multilabel Classification with Neural Networks

2008 International Conference on Parallel Problem Solving from Nature

Rafał Grodzicki, Jacek Mańdziuk, and Lipo Wang，南洋理工

摘要

改進BP-MLL

簡要介紹

誤差函式修改

多標籤分類之改進的神經網路方法

機器學習之BP神經網路演算法實現影象分類

來自語義資訊理論的多標籤分類方法——有簡單方法幹嘛要用複雜的？

六、改進神經網路的學習方法（2）：Softmax輸出層

Tensorflow手寫數字識別之簡單神經網路分類與CNN分類效果對比

（三）Multi-class Classification and Neural Networks[多分類問題和神經網路]

五、改進神經網路的學習方法（1）：交叉熵代價函式

TensorFlow 之基於Inception V3的多標籤分類 retrain

python機器學習算法系列之初識神經網路分類

caffe多工學習之多標籤分類

多標籤分類的結果評估---macro-average和micro-average介紹

tensorflow基本教程8：手寫體分類卷積神經網路

機器學習之迴圈神經網路（十）

我的人工智慧之旅——神經網路

基於keras實現多標籤分類（multi-label classification）

多標籤分類(multi-label classification)

2.CNN圖片多標籤分類（基於TensorFlow實現驗證碼識別OCR）

Tensorflow筆記之搭建神經網路NN

ML.NET 示例：多類分類之鳶尾花分類

NeuralTalk：一種基於Python+numpy使用語句描述影象的多模態遞迴神經網路的例程

多標籤分類之改進的神經網路方法

Improved Multilabel Classification with Neural Networks

2008 International Conference on Parallel Problem Solving from Nature

Rafał Grodzicki, Jacek Mańdziuk, and Lipo Wang，南洋理工

摘要

改進BP-MLL

簡要介紹

誤差函式修改

相關推薦