[arXiv 1710.03144]Island Loss for Learning Discriminative Features in Facial Expression

ABSTRACT

作者在CenterLoss的基礎上，提出了一個新的Loss，在關注類別的類內距離的同時，優化類間距離，使得每個類別擁有更大的margin,從而迫使網路能夠學習到更具判別性的特徵。

當前問題

在環境不可控（光照，姿態，遮擋，人物狀態）等條件下，不同表情間的類間距離往往會大於類內距離。同時因為高的類內距離，同一類別的樣本分佈趨勢呈現出了徑向(NormFace中提到的softmax的Scale不變性)

\[ 不同loss情況下類別特徵空間分佈情況 \]

本文貢獻

本文主要有一下貢獻:

• 提出了一個新的loss函式，目的是能夠得到更具判別性的特徵，從而使得類內距離小，類間距離大。

• 設計了一個機遇IslandLoss的卷積神經網路框架，完成人臉面部表情的識別。

  作者在三個資料庫上進行了實驗，(CK+,Oulu-CASIA 和MMI),並且在SFEW的資料庫上進行了驗證。對比與傳統的SoftmaxLoss和CenterLoss，新提出的Loss效果更好。

理論方法

• \(softmax loss\):
  
  \[ L = -\frac{1}{N}\sum_{j=1}^{N}{y_ilog{\frac{exp(z_{y_i})}{\sum_{k=1}^{c}{exp(z_k)}}}} \]

• \(centerLoss\)，在softmax的基礎上，新添加了一種loss：
  \[ L_c = \frac{1}{2}\sum_{i=1}^{n}||x_i-c_{yi}|| \]
  其中，\(yi\)為樣本i的類心特徵向量。因此整體的Loss為
  \[ L = L_{softmax} + \lambda L_c \]
  反向更新的時候，每個batch內，每個樣本僅僅負責更新該類的類心.

• \(IslandLoss\) ,在softmax的基礎上，優化類間距離:
  \[ L_{island}=L_c+ \lambda_{1} \sum_{c_{j} \in N}\sum_{c_k \in N ,c_k \neq c_j}{\frac{c_k \cdot c_j}{||c_k||_2||c_j||_2}+1} \]

  
  公式看著比較複雜，實際上即每個類心求餘弦距離，+1 使得範圍為0-2，越接近0表示類別差異越大，從而優化Loss即使得類間距離變大。當類別過多時，loss容易溢位.

\[ islandloss 前向公式 \]
\[ L = L_{softmax}+ \lambda L_{island} \]
反向更新過程即求導過程,實際簡化為x/||x||的求導,需要注意i==j和i!=j.

\[ islandloss 反向更新公式 \]

\[ islandLoss層次類心的迭代與更新過程 \]

實驗過程

實驗包含預處理，卷積神經網路超引數。

資料預處理

根據人臉特徵點的位置，以雙眼為中心，進行人臉對齊。人臉影象縮放到60*60，同時，影象cropSize為48*48,影象隨機旋轉-10°~10°，並進行水平flip，從而增加訓練樣本的數量.

卷積神經網路結構

3個卷積層後接Prelu和BN，每一個bn的後面接一個MaxPooling，最終接入兩個全連線層，softmax和Islandloss共同驅動最終的loss,採用sgd+momentum batch_size為300，weight_decay設定為0.05,每個全連線後接dropout層。

\[ 卷積神經網路結構圖\]

實驗結果

作者做了一個簡單的視覺化，並統計了不同loss中特徵類心的距離.

\[ 特徵視覺化 \]

\[ 不同loss的類別距離 \]

• CK+: 7表情94.35%
  

  \[ ck+資料庫上islandloss混淆矩陣 \]
  

  \[ ck+資料庫上不同演算法準確率對比 \]

• MMI：6表情70.67%
  

\[ MMI資料庫上islandloss混淆矩陣 \]

\[ MMI資料庫上不同演算法準確率對比 \]

• Ouli-CASIA: 6表情77.29%
  

\[ Oulu-CASIA資料庫上islandloss混淆矩陣 \]

\[ Oulu-CASIA資料庫上不同演算法準確率對比 \]

• SFEW: 驗證集52.52% 測試集 59.41%
  

\[ SFEW資料庫驗證集上islandloss混淆矩陣 \]

\[ SFEW資料庫測試集上islandloss混淆矩陣 \]

\[ SFEW資料庫不同演算法準確率對比 \]

總結

emmmmm,作者在centerloss的啟發下，提出了softmax，並且以餘弦距離衡量類間分佈，相比於centerloss和傳統的softmaxloss確實有提高，在網路上，bn或許對網路的效能有損失，而且具體的引數 \(\lambda\)也不好把握，小類別可以嘗試。

本文作者： 張峰

本文連結： http://www.enjoyai.site/2018/01/08/

版權宣告： 本部落格所有文章，均採用 CC BY-NC-SA 3.0 許可協議。轉載請註明出處！