AI越智慧,你就越糊塗
常言道:耳聽為虛,眼見為實。隨著科技的發展,即使是近在眼前的東西也能造假了。不僅出現了網路照騙,視訊也越來越難辨真假了:在過去幾年裡,欺騙我們眼睛的是“男巫”Zach King不可思議的“剪輯魔術”,而現在,計算機竟然也能搖身一變扮成人類主持播報新聞了。
前不久,微博熱搜上火了一個“AI合成主播”,據說他以真人為原型,不僅能模擬人聲,表情和嘴型都和真人無異。這位主播由搜狗和新華社合作,利用AI對視訊源中的人臉資訊進行檢測、提取、重塑,結合脣部識別、情感遷移、語音模仿等技術打造而成。
另外,一些將靜物掃描變成動態3D模型的掃描技術也可以結合AI,讓模型的動作更加自然,比如華為曾展示用Mate 20 Pro掃描製作逼真的AR熊貓的技術,可能就使用了AI合成。
其實,AI合成已經不是新鮮事,在視覺影像的操控方面,它竟可以達到逆天的效果。利用GAN(生成對抗網路)AI的影象合成可應用在多個場景,包括動作合成、光線合成、靜態圖合成、視訊合成等等,接下來我們一起細數下近年來AI都合成了什麼。
讓照片中的你睜眼
從左到右按順序:真人睜眼圖、真人閉眼圖、Photoshop合成圖、Facebook工具合成圖
跟好朋友一起照相,大家都美美的,你卻閉眼了,怎麼辦?Facebook的AI工具或許可以幫到你!據悉,Facebook利用GAN學習系統,讓其中一部分學習人臉的面部表情,另一部分重複建立睜眼的影象,最後從中篩選出最接近現實的結果。
類似的技術Photoshop其實也有,比如其“context-aware fill”(內容識別填充)也可以用睜開的眼鏡替換緊閉的眼睛。不過從效果上來講,Photoshop合成的眼睛更像是直接貼在人臉上,而Facebook的技術則更加自然。
輕鬆替換畫素
說到Photoshop的內容識別填充功能,今年9月,Adobe曾展示過用Adobe Sensei AI強化後的這項功能,在效果上更加自然,步驟也更加簡單。
夜晚變白晝
Night Sight效果對比
AI P圖現在也可以在手機上完成了,谷歌今年10月曾推出應用於Pixel手機的“Night Sight”夜拍功能,即使不開上光燈,也能強化手機的夜拍效果。
據青亭網瞭解,這款工具採用了多種演算法,其中一個用於合成多張照片;一個用於將照片進行對比,以便讓軟體識別和去除不規則噪點(低亮度照片中尤其多)。谷歌科研人員用一系列低亮度照片與專業人士提亮過的版本,通過機器學習訓練了一款AI,它會將演算法降噪跟合成過的照片進一步優化。
憑空造人
考眼力時間到了,上圖中哪個是真,哪個是假?答案是。。。沒有真的,這些全是NVIDIA的前科研人員用AI合成的!
目前就職於谷歌的Ian Goodfellow這項技術的開發人員,他使用的是自己在2014年提出的技術:利用神經網路訓練AI生成影象,也就是奠定了後來機器學習的非監督式學習方法,生成對抗網路(GAN)。GAN的主要原理是,通過讓兩個神經網路相互博弈的方式進行學習,一個神經網路用於合成逼真的影象,另外一個用於識別這些合成圖,在不斷訓練後,神經網路偽造影象的技術就越來越強。
用AI畫餅充飢
DeepMind在GAN的基礎上提出了BigGAN學習模型,它們的區別在於,GAN通常訓練一次只能生成一種型別的影象,而BigGAN可使用從網路蒐集的1400萬張圖片,來訓練可合成數千種類型圖片的AI,這也就需要128個專業的谷歌TPU機器學習處理器的支援。
Mario Klingemann作品
該公司釋出了一款BigGAN學習模型供大家嘗試,有的人制作出了充滿異域色彩的奇怪物種,還有一位AI藝術家Mario Klingemann研發了一種結合音樂和BigGAN生成視訊的技術。
AI幫你跳舞
說到視訊,我就想到MV,說到MV,我就想到跳舞。對於AI合成來說,動態與靜態影象必然兩開花,對吧。
今年8月,美國加州大學伯克利分校的四名研究員研發了一項利用AI代替人跳舞的系統,過程是將視訊源中真人跳舞的動作通過程式進行解析,拆成簡單的比劃,也就是由骨骼點組成的影象,然後用神經網絡合成另一個人跳舞的視訊。
據悉,要訓練這樣一款AI,不僅需要使用跳舞的視訊源,還需要需要合成的人的視訊樣本,一部分程式將從兩種視訊中提取物件的外形資訊,另一部分將學習如何生成任意動作的逼真人像。
最後生成的效果有點像好萊塢常用的動作捕捉技術:例如各種超級英雄、外星人、《猩球崛起》中由Andy Serkis扮演的凱撒,不過機器學習模型可大大提高動作捕捉的效率。
《速度與激情7》在拍攝期間,曾因男主角Paul Walker意外去世,不得不利用CG和3D動作捕捉,讓Walker的弟弟重塑他的角色,如果當時使用了AI,或許任何人都可以扮成Walker,拍攝的進度也能大大加快。
逼真的換臉術
左:John Oliver;右:Stephen Colbert
今年9月,美國卡內基美隆大學的科研人員利用GAN,訓練了一款變臉AI,它能夠將脫口秀主持John Oliver變成另一名脫口秀主持Stephen Colbert,從圖片中來看,合成的Colbert的面部表情和本人吻合度極高。
這種技術與此前非常火爆的AI環鏈應用Deepfake相似,不僅能你變成外形相似的另一個人,甚至還能變成完全不同的人。
將黑白草圖變成2K視訊
NVIDIA與MIT CSAIL(電腦科學與人工智慧實驗室)在今年九月曾發表論文,闡釋了一個修改街景視訊的技術,它還能夠將視訊中黑白的草圖合成為逼真的真人。
這種視訊到視訊的合成技術在計算機視覺、機器人學和電腦繪圖,甚至識別夜間環境的HUD平視顯示器中得到應用。
AI是一把雙刃劍
AI合成的影象越來越能以假亂真,雖然它很適合在製作電影特效等場景得到應用,但同時也帶來一些隱私和安全的問題,比如:高科技罪犯利用合成視訊去騙受害人家人、用合成影象偽造本人認證(前不久3D列印的頭像已經能解鎖部分安卓手機)、合成重要人士講話製造假新聞等等。為了對抗這些潛在的危險,紐約奧爾巴尼大學的科研人員訓練了一種AI演算法,可通過觀察眨眼來識別虛假視訊。
因此,《逃出絕命鎮》的導演Jordan Peele曾利用一段合成視訊,警告大家:不要完全相信你在網上看到的東西!