基於深度學習的影象特徵學習和分類方法的研究及應用

• 華南理工 馮子勇

研究現狀：

1. 單層特徵編碼

2. 深度學習

• 深度玻爾茲曼機
• 卷積神經網路
  
  

Ioffe 和 Szegedy提出了塊歸一化(Batch Normalization, BN)技術。該技術用在啟用函式之前對樣本不同維度之間進行減均值除方差的歸一化操作，他們從理論和實踐上證明這樣的操作能夠使網路收斂速度加快，即使不用Dropout也可保證不會產生過擬合。
在 2015 年的 Image Net
大規模視覺識別挑戰比賽中，He 等人提出了深度殘差訓
練的方法使得他們能夠訓練非常深的網路，模組結構如圖 1-3 所示。他們將輸入層跨過幾個卷積層和這些卷積層的輸出求和，這樣就能夠更容易地優化殘差項。實際上在梯度反傳時，梯度可以通過原始輸入的分支無損失地傳到底層，因此這種網路結構也是一種防止梯度彌散的結構，他們就可以構建更深層的網路構。

特徵學習與分類方法簡介

1.引言

• 人工設計的特徵如梯度方向直方圖、區域性二進位制模式、Gabor 特徵、尺度不變特徵變換、八方向特徵等
• 梯度方向直方圖主要應用於物體檢測和行人檢測；區域性二進位制模式則一般應用在光照複雜環境下的人臉識別；Gabor 特徵是一個比較通用的紋理特徵，也被證明和人眼機理相近；尺度不變特徵變換則是對於大部分影象識別和分類任務都有很好的效果；八方向特徵就是針對聯機漢字這種資料形式設計的特徵，能夠很好的提取時序資訊。
• 廣義上講，特徵學習是訓練得到一個從原特徵空間到新特徵空間的一個對映，因此並不是說只有深度學習才是特徵學習，其他的特徵變換方法（如稀疏編碼和子空間學習等）也可以稱為特徵學習。

2. 單層特徵學習方法研究

##### 2.1. 受限玻爾茲曼機
* 對於人工神經網路的研究，總的來說有兩個主線：一個是以仿生為基礎的，另一個是以概率圖模型為基礎的
* 受限玻爾茲曼機模型 *

2.2. 自動編碼機

• 通過找到一個引數向量Θ來最小化重構誤差
  

2.3. 稀疏編碼

bk是基向量，第一項是一個最小二乘，第二項是懲罰項，約束條件是為了防止基向量對應的係數接近0，這就變成了經典的LASSO問題。

2.4. 子空間學習

• 對於一個高維空間中的資料集，降維演算法的目標就是要得到它的一個低維特徵表達，對於線性降維，就要找一個投影矩陣U
  使得Y=UTX;對於非線性降維，很難找到一個顯式轉換。

3. 多層特徵學習方法研究

##### 3.1 深度置信網路
##### 3.2 層疊自動編碼機
##### 3.3 深度卷積網路

基於最小分類誤差準則的深度學習訓練方法

##### 幾種損失函式
* 最小均方誤差
* Softmax 與交叉熵
* 最小分類誤差
* 鉸鏈損失函式（Hinge Loss）