整理 | 費棋

出品 | AI科技大本營

DeepFakes，這種能夠移花接木的技術，它能將影象或視訊中把一張臉替換成另一張臉。

去年 12 月，一個名 Reddit 使用者用 DeepFakes 技術將蓋爾·加朵和斯嘉麗·約翰遜的臉嫁接到一個成人電影女星的身上，製作了一個幾乎可以以假亂真的視訊。

就其發揮的作用本質而言，這跟 CG 技術沒多大區別，不過這項技術“換臉”速度極快，成本較低，甚至在今年年初，一款與之相關的名為 FakeApp 的應用被髮布，使得虛假內容的創作變得更加容易。

不過，就在人們還在尋找檢測 DeepFakes 方法以防濫用之際，強力進階版的 Recycle-GAN 來了。

近日，CMU 的研究人員發表了一篇介紹 Recycle-GAN 的論文，他們介紹說這個研究是受到了 Cycle-GAN 的啟發。至於 Recycle-GAN 這項技術特點，他們將其描述為“無人監督，資料驅動”，它能將一個視訊或者圖片的內容轉換到另一個視訊或圖片裡。這樣的內容轉換任務能夠支援很多應用，包括從一個人的人體運動和麵部表情轉換到另一個人上。

先來看川普是如何“模仿”奧巴馬神態的：

根據論文，Recycle-GAN 利用生成式對抗網路（GANs）和“時空線索（spatiotemporal cues）”來學習和尋找圖片或視訊之間的關聯，當訓練人類主體的鏡頭時，它能夠捕捉面部表情一些細微的線條，比如面部抽搐、微笑時的面部細節。

他們還使用了 OpenPose 提取了關鍵的臉部關鍵點，這是在沒有任何手動輸入調整的情況下，捕捉到了這些公眾人物的特點。

而目前大多數類似 Deepfakes 的“換臉”技術缺乏的正是對細節等全域性性的掌握，這些技術都只針對人臉，缺乏對其他領域的總結和整合，如果在實際中遇到遮臉等情況，機器就難以進行相應操作，還有一些必須依賴對照組或者成對影象，這需要大量的手動標記資料。

上述圖片主要關注臉部特徵，使用相同的方法，還可以同步源人物的身體擺動動態：





當然，Recycle-GAN 也可以使得人與其他物體之間的表情可以進行轉換：



根據論文內容，他們的方法綜合了空間和時間資訊以及內容翻譯和風格儲存的對抗性損失方法。他們研究使用了時空約束優於空間約束的有效重新定位的優勢，這些都從花與花、風和雲合成、日出和日落轉化中有所體現。



雲與風的合成，研究人員使用它來修改視訊中的天氣狀況，將無風的日子轉換為颳風的日子。此外，他們通過兩種情況的視訊重定向來展示自動視訊操作方法：合成視訊中的雲和風；在不同的視訊中製作日出和日落。









就當前的實驗結果而言，可以在 28.3％ 的時間內讓 15 名測試物件分不清真假，但團隊認為，如果他們學會了“生成輸出視訊”的速度，就像人們說話有輕重緩急一樣，系統的未來版本就會更加準確。

真正的視訊風格應該更加自然，語音和內容應該隨時間的變化而變化，研究團隊相信，以後會有更好的時空神經網路架構能解決這個問題。

以 Deepfakes 這類為代表的技術如果能投入到製作電影等應用場景中，自然很不錯。但它們的低門檻也可能導致惡意的操縱者製作不良視訊，比如製作假的復仇色情片、假新聞，此前 Reddit、Pornhub 和 Twitter 以及其他平臺，都對此技術濫用行為表示反對，而美國國防部的研究人員也在積極尋找檢測 Deepfakes 以及揭露由 AI 創作的假事件的方法。

讓人無奈的是，如果要防止 AI 的負面效應，我們策略只能是以 AI 抗衡 AI，但這又陷入到了無限迴圈當中，而隨著技術的不斷迭代，這也意味著像用 Recycle-GAN 技術做出的視訊，人類將很難識別出真假。

聖塔克拉拉大學法學院教授 Eric Goldman 說，我們最好為一個真假難辨的世界早做準備，但事實上，我們已經身處在這樣一個世界中了。

論文連結：https://arxiv.org/abs/1808.05174

參考來源：https://venturebeat.com/2018/08/16/carnegie-mellon-researchers-create-the-most-convincing-deepfakes-yet/

 ——【完】——