題目：A Brief Summary of Dictionary Learning Based Approach for Classification

作者：Shu Kong and Donghui Wang

College of Computer Science and Technology, Zhejiang University

時間：May 31, 2012

一、整體介紹

1、最初學習得到的字典進用於訊號重構，後來，研究者們採取措施通過研究標籤資訊以監督學習方式學習用於分類的字典。

2、已經存在的基於DL的分類方法大致分為兩類：一類是直接學習具有識別力的字典，另一類是稀疏化稀疏，是字典具有識別力。 第一類主要利用表示誤差進行分類判決，第二類主要利用稀疏稀疏作為新的特徵進行分類。

SRC基本模型：

1、對x進行編碼，對係數加l1範數約束，取最小值。

2、對x進行分類判決。

 是提取與第i個類別相關的元素的向量指示函式。

SRC對亮度和遮擋等噪聲具有很強的魯棒性。

傳統字典學習框架：

其中，共N個訊號。A=[a1,a2,...,aN]是編碼係數矩陣。矩陣A的1範數等價於A的各個列向量的1範數之和。

SRC的缺點：

（1）預定字典包含冗餘和瑣碎的不利於人臉識別的資訊；

（2）訓練資料增加，稀疏編碼的計算量增加。

二、直接學習具有識別力的字典

為解決以上問題：

直接學習具有識別力的字典：

1、Meta-Face Learning

Yang等人的該方法是針對每一個類別學習得到一個自適應的字典。

 其中矩陣Xi包含第i個類別的所有樣本，Di是第i個類別對應的字典。

2、Dictionary Learning with Structured Incoherence（DLSI)

不同類別的子字典的原子具有連貫性，則重構查詢影象時的原子是可以互相代替的。這導致無法利用重構誤差進行分類判決。為了解決這一問題，Ramirez等人增加了一個不連貫項的約束，使不同類別的子字典之間儘可能互相獨立。

不連貫項：

最終的字典學習演算法為：

不連貫項的含義是：在重構誤差時，忽略與公共原子（在各個類別中表示共同特徵的原子）相關的係數的絕對值，一次提高系統的判決能力。

三、使係數具有識別力的方法

該類方法使稀疏係數具有識別力，間接使字典具有識別力。該類方法只需要學習一個整體的字典，不需要每個類別都學習一個相應的字典。

1、監督字典學習(SDL)

Mairal等人提出將邏輯迴歸與傳統字典學習框架相結合。

優化公式為：

λ2 是防止過擬合的正則項引數。f是與係數a呈線性關係的函式：

或者與a和x成雙線性關係的函式：

2、用於字典學習的有識別力的K-SVD方法(D-KSVD)

D-KSVD在傳統DL框架上加了一個簡單的線性迴歸作為懲罰項。

H=[h1,h2,...hN]是訓練影象的標籤。hn =[0,...0,1,0,...,0],非零元素的位置即為所屬的類別。W是分類器的引數。

由上式可知，前兩項可以混合為一項，最後一下根據KSVD可以去掉。最終優化得到D和W後，即可迅速對查詢影象進行分類。

3、標籤一致的KSVD（LC-KSVD）

Jiang等人提出LC-KSVD，提出了一個叫做“有識別力的稀疏編碼誤差”的標籤一致的約束，與重構誤差和分類誤差結合，如下所示：

具有識別力的稀疏編碼誤差使得稀疏碼A接近有識別力的稀疏編碼Q。

4、Fisher 判決字典學習方法

總的優化函式框架：

C(X,D,A)：識別精確項。

f(A):強加於A的識別力約束項。

在識別力精確項：我們希望DiAi=Xi，DjAi=0(i不等於j)。

於是：

在係數的識別力約束項：使關於樣本X的字典D有識別力，可以使編碼A有識別力。即使A的類內散度SW小，類間散度SB大。

Fisher判決函式為：（tr(SW)-tr(SB)是非凸函式且不穩定，加上一項A的F範數項），如下所示：

所有內容融合之後，得到的FDDL為：

四、總結

字典學習的總體框架：