“造”個自己去開會：最牛 3D 人臉建模系統，輸入一張照片就行
1 月 26 日訊息，倫敦帝國理工學院和初創公司 FaceSoft.io 的研究人員設計出一個人臉建模系統 AvatarMe。AvatarMe 可以依據任意一張人臉照片和一些面部細節，生成 4K x 6K 解析度的 3D 人臉模型。
AvatarMe 是首個能根據單一影象生成較高解析度 3D 人臉模型的系統。在未來，AvatarMe 或可用於視訊會議等各個 VR 應用場景。
這項研究發表於 CVPR 2020，論文標題為《AvatarMe：“在野外”的真實的可渲染的 3D 臉部重建（AvatarMe：Realistically Renderable 3D Facial Reconstruction “in-the-wild”）》。
論文連結：
https://arxiv.org/pdf/2003.13845.pdf
CVPR（Conference on Computer Vision and Pattern Recognition）是由 IEEE 舉辦的計算機視覺和模式識別領域的頂級會議，本屆會議在 6 月 13 日到 6 月 19 日之間舉辦。
AvatarMe：依據一張照片生成逼真的 3D 人臉
3D 人臉建模是計算機視覺、圖形學、機器學習領域的研究焦點之一。在過去幾年，許多研究團隊研發了基於生成對抗性網路（GAN）的 3D 人臉建模系統。
GAN 由一個生成網路和一個判別網路組成。GAN 模型的學習過程就是生成網路和判別網路的相互博弈的過程：生成網路隨機合成一張圖片，讓判別網路判斷這張圖片的真假，繼而根據判別網路給出的反饋不斷提高 “造假”能力，最終做到以假亂真。
但是，在依據任意人臉照片生成 3D 人臉模型方面，現有的解決方案普遍效能較差，生成的 3D 人臉模型解析度較低。
倫敦帝國理工學院和初創公司 FaceSoft.io 的研究人員認為，這是因為兩個原因：
一方面，研究人員缺乏可用於培訓的資料；另一方面，可成功應用於高解析度資料的穩健方法也比較少。
為了解決這些問題，倫敦帝國理工學院和初創公司 FaceSoft.io 的研發人員捕獲了一個關於面部形狀和反射率的大型資料集。
同時，研究人員採用基於藝術狀態的 3D 紋理和形狀重建方法，以渲染所需的每畫素解析度和鏡面反射分量。最終，研究人員成功地優化了 3D 人臉建模結果。
▲AvatarMe 系統的管道結果
採用兩種捕獲方法收集超 200 張人臉影象
為了建立可用於訓練的人臉資料集，研究人員採用兩種方法收集資料。
第一種方法中，研究人員利用一個有 168 個光源的極化 LED 球泡燈和 9 臺單反相機，捕獲高解析度的孔隙級人臉反射率圖。極化 LED 球泡燈中，一半的光源是垂直極化的，另一半光源是水平極化的。兩種極化方式的光源交錯排布。
第二種方法中，研究人員利用非極化的 LED 球泡燈進行色彩空間分析，以捕獲解纏的紋理。相比於第一種方法，利用非極化的 LED 球泡燈只需捕獲不到一半的資料，因此捕獲時間較短短。另外，由於不需要偏振片（polarizer），非極化的 LED 球泡燈設定也比較簡單。
通過這兩種方法，研究人員採集到超過 200 個不同年齡和特點的人的孔隙級人臉反射率圖。為便於進一步研究，研究人員將收集到的影象引入一個標準拓撲結構中，建立人臉資料庫。
研究人員將這一資料庫命名為 RealFaceDB，根據論文，與同類人臉資料庫相比，RealFaceDB 規模為最大。
▲將人臉影象引入標準拓撲結構
不僅能用低解析度照片建模 戴墨鏡照片也行
基於 RealFaceDB 資料庫，研究人員開始訓練基於 GAN 的 AvatarMe 系統。
訓練過程中，研究人員首先輸入一張低解析度的人臉圖片，用 3DMM 演算法重建一個帶紋理的基本幾何體。然後，利用一個超級解析度網路，研究人員重建紋理對映。接下來，研究人員利用一個去照明網路獲得高解析度的漫反射函式（AD）。最後，研究人員利用漫反射函式 AD 和基本幾何體，推斷出其他部分的函式（AS、ND、NS），進而建立模擬的 3D 人臉模型。
經過訓練，AvatarMe 系統可以輸出 4K x 6K 解析度的 3D 人臉模型。
為了評估 AvatarMe 的效能，研究人員輸入隨機圖片，觀察 AvatarMe 重建的 3D 模型是否逼真。結果顯示，AvatarMe 系統重建的 3D 人臉模型沒有產生偽影。另外，在照片主人公戴有墨鏡的情況下，系統也能較精準地建模。
結語：未來計劃把 RealFaceDB 資料庫開源
本項研究中，倫敦帝國理工學院和初創公司 FaceSoft.io 的研究人員設計出人臉建模系統 AvatarMe。AvatarMe 可以利用任意一張人臉照片，建立出較高解析度的 3D 人臉模型。
研究人員還建立了同類資料庫中規模最大的 RealFaceDB 資料庫。研究人員稱，未來計劃將這一資料庫向科學界開源。
同時，論文指出，RealFaceDB 資料庫還存在一些侷限性。比如，RealFaceDB 資料庫中缺乏來自深膚色種族的樣本。因此，在依據深膚色種族樣本建模時，AvatarMe 系統建立的 3D 人臉模型解析度有所降低。