計算機視覺人臉相關開源專案總結
openface
openface是一個基於深度神經網路的開源人臉識別系統。該系統基於谷歌的文章《FaceNet: A Unified Embedding for Face Recognition and Clustering》。openface是卡內基梅隆大學的 Brandon Amos主導的。
OpenFace
很有意思的一個事情是,我們要介紹的第二個專案,同樣叫做OpenFace,只是他的首字母都是大寫的,這個專案主要在Landmark Detection,Landmark and head pose tracking,Facial Action Unit Recognition等,其中Facial Action Unit Recognition是個比較有意思的點,該專案給出一個臉部的每個AU的迴歸分數和分類結果。
face_swap
face_swap實現了一種end-to-end的自動換臉演算法,基於單圖換臉,C++實現所有的程式碼。專門準備的人臉資料集,讓FCN在分割人臉時得到優異的效果。論文:《On Face Segmentation, Face Swapping, and Face Perception》。
SeetaFaceEngine
中科院山世光老師開源的人臉識別引擎—SeetafaceEngine,主要實現下面三個功能:
SeetaFace Detection
SeetaFace Alignment
SeetaFace Identification
deepfakes_faceswap
相比於前面幾個,deepfakes_faceswap的內容就要相對簡單很多,它在訓練一個CNN網路做2D的換臉,不同於faceswap,訓練出來的網路只能針對於當前的兩個圖片,而且依賴大量資料。有意思的是,最近傳的很火的神奇女俠—蓋爾加朵的視訊,就是這個程式碼做出來的,很邪惡。
3dmm_cnn
一個很優秀的工作,利用ResNet101從單圖建模出3維人臉影象,得到不錯的效果。一種基於深度學習演算法的人臉3維重建方法。
論文:《Regressing Robust and Discriminative 3D Morphable Models with a very Deep Neural Network》
github:
相關連結:這篇文章解釋的還不錯
vrn
用CNN Regression的方法解決大姿態下的三維人臉重建問題。
ICCV論文:《Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression》
4dface
face-alignment
2D-and-3D-face-alignment
兩個github專案,在做同一件事,2d和3d的人臉對齊問題,區別在於前者是Pytorch 的程式碼,後者是Torch7的。
論文有個很霸道的名字:《How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks) 》ICCV2017
DRML
北郵的論文:《Deep Region and Multi-label Learning for Facial Action UnitDetection》 CVPR 2016;
作者定義了自己的新的層結構做區域學習多標籤檢測,來提升AU檢測的效果。文章對12類AU的檢測進行了訓練和測試,分別是AU1,AU12,AU15,AU17,AU2,AU20,AU25,AU26,AU4,AU5,AU6,AU9。