三維人臉重建和表情模擬
最近開始研究三維人臉合成和表情變化,文章列表如下
1. Synthesizing realistic facial expressions from photographs:
98年的文章,較為簡單,第一步是2d圖片對映到3d模型,首先從5個角度拍攝頭像,手工標註人臉輪廓的13個特徵點的位置,主要是眼角,耳朵,嘴型,鼻子。 然後通過3d攝像機投影得到一些等式,通過13個點來求解等式的解,這裡使用了least square的方法求出特徵點的3d座標,旋轉矩陣等等攝像頭的引數。接下來,我們deform initial model, 通過13個點構造deform函式,這裡用到radial basis function 來得到其他頂點的函式對映關係。最後,通過標註更多的特徵點來refine 3d模型。 第二步,紋理對映,3d紋理是各個2d照片的線性組合。這部分暫時沒有細看。第三步,不同的表情之間通過線性插值的方法產生動畫。
2. Face Transfer with Multilinear Models
論文的主要貢獻是把人臉的屬性分為identity, expression, viseme, 通過一個線下構造好的具有不同人種,表情和viseme的資料庫,將人臉表示成該三個屬性的multi-linear模型。該文使用Kanade-Lucas-Tomasi的人臉跟蹤演算法來求解模型各維度的引數。
3. A Morphable Model For The Synthesis Of 3D Faces
經典論文。論文的主要思想是任意一張人臉表示成預先構造的人臉資料庫的線性組合。
4. 3D Face Reconstruction from a Single Image using a Single Reference Face Shape
5. Face Reconstruction in the Wild
具體程式設計實踐的相關一些材料:
- Foundations of 3d book tell us about the basics of 3d. (這本書我覺得講的很好,主要是講3d數學基礎, 我讀了前面7,8章很精彩)
- Opengl Guide tell about opengl api.(非常簡單入門)
- http://expression.sourceforge.net/: this is a great opensource api about how to do various expressions.