Dense Face Alignment ICCVW2017
http://cvlab.cse.msu.edu/project-pifa.html
MatConvNet code
model can run at real time during testing

這裡針對人臉對齊問題，我們採用 Dense Face Alignment (DeFA) 密集人臉對齊的策略，providing a very dense 3D alignment for large-pose face images
我們通過兩個手段達到這個目標：1）對3D人臉模型中加入三個約束 landmark fitting constraint, contour fitting constraint and sift pair constraint
2）使用多個人臉對齊資料庫進行訓練

以前基於 3D 模型擬合的人臉對齊演算法只使用 稀疏的特徵點作為 supervision。如果要實現高質量的 密集人臉對齊(DeFA)，面臨的首要問題就是沒有對應的訓練資料庫，所有的人臉對齊資料庫中標記的特徵點不超過68個特徵點，所以我們需要尋找有用的資訊來作為額外的 supervision，並將這些資訊嵌入到學習框架中。面臨的第二個問題就是需要各種的訓練資料，但是不同的人臉對齊資料庫 labeled differently，標記的特徵點個數不一樣。
上面兩個問題該如何解決了？
additional constraints： 1）contour constraint 預測的人臉形狀的輪廓應該和影象中檢測到的2D人臉邊緣是匹配的。2） SIFT constraint 對應同一個人的不同人臉影象見到SIFT關鍵點在 3D人臉模型中應該對應 same vertexes

leveraging multiple datasets： 3D face model fitting approach 對特徵點個數不是很敏感，所以可以使用多個不同資料庫進行訓練

main contributions：
1）我們定義了一個密集人臉對齊問題
2）為了實現這個密集人臉對齊，我們定義了一個新穎的 3D 人臉模型擬合算法加入多個約束和 跨資料庫訓練
3）我們模型的效能優異。可以實時運算

3 Dense Face Alignment
3.1. 3D Face Representation
3D 人臉表示方法，一個人臉的 3D shape S 我們使用一組 3D vertices 來表示，為了計算這個 S，我們根據 3DMM 表示方法 使用一組3D shape bases 來表示它

3D 人臉中的一些 vertices 對應 人臉影象中 2D 特徵點的位置，基於一種對應關係（weak perspective projection），我們可以根據 3D face shape 來估計 2D 人臉的 dense shape。經過公示推導：The learning of the dense 3D shape is turned into the learning of m and p
projection parameters m shape basis coefficients p

3.2. CNN Architecture

多個約束對應多個損失函式

4 Experimental Results

To make the training more manageable, we train our DeFA model in three stages, with the intention to gradually increase the datasets and employed constraints
1) At stage 1, we use 300W-LP to train our DeFA network with parameter constraint (PL).
2) At stage 2, we additionally include samples from the Caltech10K [2], and COFW [6] to continue the training of our network with the additional landmark fitting constraint (LFC).
3) At stage 3, we fine-tune the model with SPC and CFC constraints. For large-pose face alignment, we fine-tune the model with AFLW-LFPA training set.