論文閱讀筆記《Distribution Consistency Based Covariance Metric Networks for Few-Shot Learning》
小樣本學習&元學習經典論文整理||持續更新
核心思想
本文提出一種基於度量學習的小樣本學習演算法（CovaMNet），其從二階統計量（協方差）的角度出發，通過構建各個樣本的特徵向量之間的協方差矩陣實現類別表徵與距離度量。該演算法的實現過程如下圖所示
如圖所示，查詢集和支援集樣本分別經過CNN提取特徵，得到對應的特徵圖
X
i
∈
R
h
×
w
×
d
X_i\in \mathbb{R}^{h\times w\times d}
Xi∈Rh×w×d，然後計算同一類別下每個樣本特徵圖之間的協方差矩陣
Σ
c
\Sigma_c
Σc，因為每個類別下的樣本數量有限，因此在樣本維度上計算協方差矩陣很難保證協方差矩陣的非奇異性，因此作者提出一種區域性協方差表徵的方法，具體而言就是把特徵圖中每個位置對應的特徵向量都看作一個區域性特徵描述子，然後計算每個特徵描述子之間的協方差矩陣，每個特徵圖都有
M
=
h
×
w
M=h\times w
式中
τ
∈
R
d
×
M
\tau\in \mathbb{R}^{d\times M}
τ∈Rd×M表示區域性特徵描述子的均值向量。得到的區域性協方差矩陣
Σ
c
l
o
c
a
l
\Sigma_c^{local}
Σclocal就可以看作是類別
c
c
c對應的類別表徵，接著作者又提出了基於區域性協方差矩陣的距離度量方法
如果
x
x
x的方向與協方差矩陣中前
k
k
k個向量的方向一致，則
f
(
x
,
Σ
)
f(x,\Sigma)
f(x,Σ)函式可以取得最大值，否則
f
(
x
,
Σ
)
f(x,\Sigma)
z
z
z中包含
M
M
M個區域性特徵描述子之間的相似性，最後利用一個全連線層將其轉化為全域性的相似性度量
實現過程
網路結構
特徵提取網路採用4-Conv結構
損失函式
交叉熵損失函式
創新點
- 使用二階統計量協方差來作為類別表徵，並構建了局部協方差矩陣
- 基於協方差矩陣提出了相似性度量方法用於樣本分類
演算法評價
之前解讀過一篇文章《Power Normalizing Second-order Similarity Network for Few-shot Learning》
如果大家對於深度學習與計算機視覺領域感興趣，希望獲得更多的知識分享與最新的論文解讀，歡迎關注我的個人公眾號“深視”。