浙大小姐姐搞出禿頭生成器,完美保留五官臉型(附專案地址)
只要輸入一張照片,輸出的就是完美無瑕的光頭,氣質立刻從實習提升到主管(手動狗頭)
無論你是年輕的程式設計師小哥,還是長髮飄飄的程式媛,都可以通過這個方法“變得更強”:
有了這個名叫 HairMapper 的“光頭神器”,P 頭髮就是分分鐘的事情,五官卻完全不受影響:
嗯,以後有了想做的髮型,直接 P 一個……
要實現這麼好的效果,得用三個 GAN 合力才行。
所有人都能用的“光頭神器”
具體來說,HairMapper 的原理一共分為三步,生成禿頭 → 保留五官 → 合併頭像。
首先,作者們利用 StyleGAN,做出一個與原頭型相近的禿頭效果:
這時候我們看到,StyleGAN 沒辦法做到精準地控制五官生成,因此臉型稍微有所變化。
那麼接下來,就是利用 InterFaceGAN,摳出一個頭發以外的臉型和五官形象,同時也保留四周的風景:
最後,將前兩步生成的效果合成,就做出了一個完美的“光頭”:
不過值得一提的是,由於長髮、女性光頭資料集少等原因,因此作者們額外為女版“光頭神器”多加了一個步驟。
在這其中,女性照片要先通過 StyleFlow 轉換成男性照片,再重複上述步驟,最終同樣得到一個光頭:
這樣的效果還是不錯的,在資料集中測試顯示,即使是髮量驚人的女生也能一鍵脫髮(doge)
作者們將 HairMapper 與其他的禿頭生成器做了個對比。
還做成了 6000 + 禿頭資料集
事實上,之前並不是沒有人做過禿頭生成器,只是效果並不太理想。
例如 Adobe 之前推出過的這個叫 StyleFlow 的生成器,就能讓馬斯克變禿:
但一個是頭髮沒脫乾淨,另一個是五官也給 GAN 成了“另外一個人”。除了 StyleFlow 以外,其他型別的“禿頭生成器”也面臨這樣的問題:
這次的 HairMapper 在 GAN 脫髮的基礎上,保留了原本的五官,使得還原出來的人臉非常真實。
無論男女老少或圓扁尖頭:
還是各種不同膚色乃至不同膚質:
甚至是側臉乃至有陰影,都能在 HairMapper 的作用下 get 絲滑的光頭特效:
目前作者們已經利用這個演算法,將 Flickr-Faces-HQ(FFHQ)資料集中的 6000 張人像變成了光頭。
以後無論是 P 頭髮、還是變身男裝 / 女裝大佬,都能用這個開源資料集來訓練了:
作者介紹
一作 Yiqian Wu,來自浙江大學計算機輔助設計與圖形學(CAD&CG)實驗室,目前在讀博士生,興趣是計算機視覺和人像編輯等。
二作 Yong-Liang Yang,巴斯大學助理教授,本碩博畢業於清華大學,曾師從胡事民教授,研究方向是計算機圖形學、幾何建模、VR / AR 等。
通訊作者金小剛,浙大 CAD&CG 實驗室教授,研究方向包括電影特效模擬、自動駕駛模擬、創造性建模等。
是不是迫不及待想要一試“光頭神器”了?
據作者表示,目前 HairMapper 的預訓練程式碼還在加急製作中,馬上就會放出來,而資料集已經可以用了~
專案地址:
https://github.com/oneThousand1000/non-hair-FFHQ
論文地址:
http://www.cad.zju.edu.cn/home/jin/cvpr2022/HairMapper.pdf