文獻閱讀001
文獻題目如下:
[1] 2002 ICIP Face photo recognition using sketch
[2] 2005 CVPR a nonlinear approach for face sketch synthesis and recognition
[3] 2017 Data-driven vs. model-driven Fast face sketch synthesis
本周剛入實驗室,粗略地閱讀張老師推薦的三篇論文,了解一下研究方向。
- 大方向:人臉識別(face recognition)
- 小方向:基於素描圖像的方法(based on sketch)
背景:
以往人臉識別都是基於原始圖片(based on photo)識別,但當要識別一個嫌疑犯,而又沒有照片時只能用根據目擊者描述畫出素描畫像(sketch)代替。因此需要將拍攝到的原始圖片轉換為素描圖片,再與素描圖庫對比檢索
論文主要內容:
[1] 2002 ICIP Face photo recognition using sketch
- 提取人臉特征的傳統方法(Conventional eigenface method):KLT
- 基於素描的方法(Eigensketch transformation)
[2] 2005 CVPR a nonlinear approach for face sketch synthesis and recognition
該論文分為兩大工作:轉換 和 識別
- 轉換:該論文是基於LLE方法,用 photo-sketch pair 訓練集訓練出來的模型(P) 自動生成 pseudo-sketch。
- 識別:由於畫家畫的素描難免有偏差,以及pseudo-sketch會有模糊,因此用KNDA方法。
問題:LLE,linear v.s nonlinear 等知識點還未了解。
[3] 2017 Data-driven vs. model-driven Fast face sketch synthesis
Data-driven:
data-driven 是在模塊水平(patch level)進行訓練的,模型包括兩個:Neighbor Selection Model, Neighbor Fusion Model(如下圖)
作者列舉了許多data-driven 的方法,說明了其劣勢所在:在選擇Neighbor Selection Model 時要遍歷整個training photo-sketch pairs, 耗時太大。
問題:patch division是怎麽完成的?——partition mask(如下圖)
Model driven:
訓練:將photo-sketch pairs 分成許多patches,訓練出許多Mapping functions.
測試:將photo分成許多patches,用訓練出的Mapping functions生成對應的sketch。
只是初步了解一下方向,具體的原理,公式,算法還沒有深入了解。閱讀中遇到一些不懂的知識點直接跳過,如rigid regression, LLE, KNDA等等。後面會對每一篇再做進一步的閱讀和總結。
文獻閱讀001