你敢信，派大星當眾宣稱自己是鋼鐵俠，漫威宇宙和比基尼海灘夢幻聯動：

I am Iron Man！

這深沉憨厚又有點喜感的嗓音，是派大星本星沒錯了。

而小扎也瘋狂亂入，直接搶了派大星的臺詞，喊海綿寶寶去抓水母：

hi，spongebob，shall we go to catch jellyfishes?

沒錯，這又是 AI 的傑作。

這個名叫 FakeYou 的語音偽造模型，最近火爆到伺服器都被擠掛掉了。

像這位網友一樣給馬男波傑克寫段臺詞：

suck a*. why are you still here?! did you eat my muffin? you are a worthless piece of no good shit who deserves to die. what are YOUU doing here? what are you doing here.

一鍵就可以還原他“致鬱”的聲音。

這“What are youuuu doing”的發音，確實夠傳神了。

目前上傳的人物語音模型已經有很多，包括海綿寶寶、摩根・弗里曼、辛普森一家、馬男波傑克、滅霸等等。

demo 線上可玩，快來試試~

操作也很簡單，只需兩步：

在圖中第一個紅框中的下拉選單中選擇你喜歡的人物，然後在下面的文字框中輸入你希望 TA 說的話，再點選“Speak”就 ok 了。

另外，如果你還想讓 TA 對上口型，FakeYou 也線上提供了相關功能。選擇不同的視訊 model，上傳音訊檔案就可以了。

FakeYou 如何 Fake

那 FakeYou 是怎麼實現文字轉語音和對口型的呢？

對於文字轉語音的任務，FakeYou 提到了一系列的模型，主要是其中值得一提的是 MelGAN

它的整體結構也比較簡單，工作流是這樣的：

首先將輸入的文字轉化為梅爾聲譜圖，然後再利用 GAN 去學習圖中的特徵，提取聲音的資訊。

最後再通過傅立葉逆變換還原出原始聲波。

而對口型任務使用的則是 Wav2Lip 模型，與之前的對口型模型的區別在於，Wav2Lip 使用預訓練的判別器，在檢測脣同步時已經相當準確。

並將口型的真值和遮住口型的部分輸入網路，用殘差網路相連。

同時還使用了視覺判別器來提高視覺質量和同步精度，進一步提高模型質量。

FakeYou 創作者

FakeYou 的創作者主要是畢業於南方理工州立大學 Brandon Thomas，他是一名來自亞特蘭大的工程師。

自這款 demo 改名為 FakeYou 之後，就受到很多網友的喜愛。因此有很多社群中的網友也來貢獻“聲音”。目前 FakeYou 中已經有幾百個用於製作的語音模型。

如果沒能找到合適的人物語音模型，也可以自己新增，來豐富 FakeYou。

如果你也有想讓影視或者動漫中的人物說出你想聽的話，可以參考文末的線上 demo 連結。

參考連結：

[1]https://fakeyou.com/

[2]https://arxiv.org/abs/1910.06711