1. 程式人生 > 資訊 >日本 CG 大神又整活:3D 建模軟體拿來搞面部實時捕捉

日本 CG 大神又整活:3D 建模軟體拿來搞面部實時捕捉

最近,拿 Maya 加一個換臉軟體就能做到的實時面部捕捉在日推火了:

不管怎麼擠眉弄眼,褶子和肌肉的細微變化都跟得上。連續兩個演示視訊點贊分別突破 4k 和 3k,甚至被網友評價為“效果好得有點可怕”。

怎麼說呢…… 直接杵一個臉在攝像頭前,就能實時替換臉部表情確實更方便。至少和滿臉小點 + 機械裝置比起來,不再那麼密恐福利了……

開發者橫原大和(Hirokazu Yokohara)是日本的一位“全才”藝術家,3D 建模、場景、特效、甚至像這種沾邊前沿科技的活兒都會做。

比如我們之前介紹過的那位在電車上啾咪順拐的萌妹,也是出自這位大神之手:

接下來,我們先從他這次所用的技術開始瞭解。

又見 DeepFake

橫山提到,他在幾天前看到有人將 UE5 和 DeepFace Live 結合起來,直接合成了一個視訊:

於是他便也起了心思,打算用 Maya 試試看。並且他還實現了實時面部捕捉的效果。

具體來說,技術方案是 Maya + 換臉軟體 DeepFace Live。

其中 Maya 是有軟體自帶的面部繫結系統。而 DeepFace Live 聽名字就知道,與曾經爆火的 DeepFake 有關。

這是一種利用機器學習中的深度學習實現的深度視訊換臉的技術,基於這種技術誕生了無數的下載即用,甚至線上可玩的工具和軟體。(肌肉金輪就是其成果之一)

DeepFace Live 就是其中一種。

這是一個去年剛剛公開的開源工具,特點是可以在流媒體或直播視訊中實時換臉,也就是說讓使用者通過網路攝像頭應用面部過濾器,與大多數基於視訊的流媒體和資訊服務結合使用。

比如常見的 Skype,Zoom,Tik Tok,Twitch 上都可以使用:

當然,DeepFaceLive 的人臉交換功能也可以應用於預先錄製的視訊。

開發者是來自俄羅斯的 Iperov,同時,他也是曾經應用最廣泛的 DeepFaceLab 的開發者質之一。

開發者也是老二刺猿了至於這位橫原大神本身,我們開頭介紹過,這是一位在各領域都造詣頗深的通才。

他來自東京的 khaki 工作室,主要負責為 CM,MV,動畫,大型遊戲等各種媒體或裝置設計視覺特效(VFX)。不說工作室的名字,只說他們的作品,總有一款你熟悉的。比如陰陽師 2017 年的這個宣傳 PV:

2020 年的 VR 遊戲裝置 hexaRide 中的第一款合作遊戲,《攻殼機動隊》的 CG:

還為世界第一的公主殿下做過 MV:

怎麼說呢,老二刺猿了。

參考連結:

[1]https://twitter.com/Yokohara_h

[2]https://www.dailydot.com/debug/deepfacelive-DeepFake-live-streaming/