[acmi 2015]Image based Static Facial Expression Recognition with Multiple Deep Network Learning

ABSTRACT

該文章作者為EmotiW2015比賽靜態表情識別的亞軍，採用的方法為cnn的級聯，人臉檢測方面也採用了當時3種演算法的共同檢測，
通過在FER2013資料庫上進行模型預訓練，並在SFEW2.0（比賽資料）上fine-tune,從而在比賽的驗證集和測試集上取得55.96%和61.29%
的準確率,遠遠超過比賽的baseline(35.96%，39.13%)。
作者本文主要貢獻如下:

• 1.實現了CNN架構，在表情識別方面效能卓越。
• 2.提出了一種資料增強和投票模式，應有提高CNN的效能。
• 3.提出了一種優化方法自動的決定級聯CNN的權重分配問題。

FaceDetection

由於SFEW資料庫給出的靜態影象,背景非常複雜，同時為了後續的CNN表情分類，人臉的檢測與對齊是非常重要的,因此作者級聯了三個state-of-the-art
的人臉檢測演算法，從而保證人臉檢測的正確性.三種檢測演算法為(JDA,DCNN,MoT),影象事先resize為1024x576.總共幀為372,實驗結果如下表所示:

FacePreprocessing

資料預處理對後續的識別有極大的影響，良好的資料預處理可以去除樣本間的無關噪聲，並能夠一定程度的做到資料增強。影象尺寸歸一化(48x48)
直方圖均衡化,去均值除方差。
樣本擴增(論文5.2),由於FER資料庫包含35000+的圖片，因此作者採用fer資料庫進行預訓練，作者對資料進行了隨機的旋轉，從而生成了更多的樣本,使得網路訓練的結果更具有魯棒性。，樣本生成公式以及效果圖如下圖所示:



\[ 樣本新增擾動後生成的圖樣與原始圖樣的對比 \]

CNNModel

基本網路結構

5個conv+relu(step:1),3個stochastic pooling層(kernel_size:3*3,step:2),3個全連線層次(帶relu+dropout)+softmax,隨機初始化引數.
採用sgd優化方式,batch_size：128.

\[ CNN網路結構圖 \]

損失函式與級聯思想

損失函式為softmaxWithLoss，只不過計算的時候一個樣本會與其生成的樣本loss一起計算，整個網路用FER資料庫進行預訓練(base_lr:0.005)，當loss突然增加25%或者連續5次觀察loss發現loss上升，則手動的減小學習率，最小的學習率設定為0.0001.
由於隨機初始化引數，因此作者測試的時候，對多個網路進行級聯，從而提高測試的準確率.

\[ 測試時級聯CNN網路結構圖 \]
相比較簡單的加權投票平均的思想，作者認為可以通過學習策略，來決定網路的具體權重。所以提出了一個級聯的似然函式，實際可以理解為根據各個網路的輸出去學習一個全連線層.其中||w|| == 1.

實驗結果

作者分別列出了在FER,SFEW上資料庫的單獨訓練結果以及，採用提升的級聯方式對最終結果的提高。

\[ FER資料集train \, val結果 \]

\[ FER資料集不同Loss與級聯方式的結果 \]

\[ SFEW資料集Vote \, No Vote的結果 \]

\[ SFEW資料集不同Loss與級聯方式的結果 \]

\[ SFEW資料庫上的測試混淆矩陣 \]

結論

預訓練+提升的級聯方式對最終的識別效果有效。同時，樣本擴增對實驗提升也是有作用的。

本文作者： 張峰
本文連結： http://www.enjoyai.site/2018/01/08/
版權宣告： 本部落格所有文章，均採用 CC BY-NC-SA 3.0 許可協議。轉載請註明出處！