1. 程式人生 > 資訊 >AI 換臉後又來 AI 換字:Facebook 打造了“文字版的 Deepfake”

AI 換臉後又來 AI 換字:Facebook 打造了“文字版的 Deepfake”

6 月 17 日訊息,據 Facebook 官網顯示,他們剛剛公佈了一個新的 AI 專案 —— 文字樣式筆刷(TextStyleBrush)。只需要提交某一個單詞的影象,文字樣式筆刷就可以複製照片中文字的字跡,然後將其他文字統一替換成該類文字的樣式。簡單來說,就是可以模仿你的字跡。

同時,文字樣式筆刷技術運用了一種新的自我監督 AI 模型,可以預先通過字型分類器(font classifier)和文字識別器(text recognizer)訓練來識別源樣式(source style samples)和目標內容。

Facebook 認為,文字樣式筆刷將釋放人們的創造性以及自我表達的潛力,協助打造個性化的文字和字幕。在 AR 領域,文字樣式筆刷可以提供虛擬和現實之間的文字轉換(photo-realistic translation of languages)技術。

目前,這份研究成果已經在 6 月 10 日發表在 Facebook 官網,報告名稱為《文字樣式筆刷:通過一個簡單的例子來繼承“字形美學”(TextStyleBrush: Transfer of text aesthetics from a single example)》。

報告連結:

https://ai.facebook.com/research/publications/textstylebrush-transfer-of-text-aesthetics-from-a-single-example

一、文字版 Deepfake,可自主理解“字跡”

文字樣式筆刷類似於文書處理器裡的格式刷工具,更像文字版本的 Deepfake(AI 換臉軟體)。

文字樣式筆刷採用了先進的 AI 訓練方法,可以一次性傳輸所有資訊,然後自動分離影象中的文字資訊與字型邊框、紙張背景等,不需要重新輸入新的源樣式示例。

與之前大多數人工影象生成技術不同,文字樣式筆刷並不需要研發者設定特定型別或目標樣式的引數。研發團隊試圖構建一個足夠靈活的人工智慧系統來理解現實生活中不同文字和筆跡之間的細微差別。

▲圖源 Facebook

這意味著,該人工智慧系統需要自主理解任何字型的呈現形式,不僅是字型、書法、文字風格,而且還需要理解字型形式的不同變換,如旋轉、彎曲(curved text)、紙筆之間的變形,以及圖片背景干擾(image noise)等。

如果 AI 不能剔除這些干擾資訊,就不能從圖片中完整地得到文字本身的相關資訊。同時,研發團隊也很難為整個字母表或者數字的所有呈現形式都配上註釋。

該項研究證明,人們可以藉助 AI,在各類場景中更加靈活和準確地表達“字型美學”。但研究報告也同時提到,目前文字樣式筆刷技術仍有不足,還難以識別金屬材質或不同顏色的文字。

二、多場景普遍使用,直接合成逼真照片

經驗表明,文字樣式筆刷可以模仿垃圾桶、路牌、飲料瓶、店面裝飾等多場景下字型的文字樣式。

文字樣式筆刷技術對合成圖片的要求同樣很高。

▲圖源 Facebook 研究報告

TextStyleBrush 模型是基於 StyleGAN2 設計,能夠形成非常逼真的圖片。

文字樣式筆刷技術不但可以將印刷體都轉換成手寫體,同時可以識別其他樣式的文字,將它自動合成手寫體樣式。

同時,Facebook 還通過結合文字樣式分類、文字識別(OCR)和 GAN 這三種模型來保留文字輸出的樣式,再用通過字型分類器和文字識別器來“判斷”影象的文字內容是否合格。

三、你的字跡會被盜用?別擔心,該技術暫時不會落地現實

在期待新技術的應用時,Facebook 也在報告中提到對技術濫用的擔憂。

他們擔心該項技術可能會如 Deepfake 一樣遭到濫用,甚至成為不法分子的作案工具,因此該項技術暫時不會落地現實。

Facebook 表示,他們希望通過公開這項 AI 研究結果,鼓勵業內更多人士對虛擬文字的研究,以避免受到深度偽造文字攻擊(deepfake text attacks)。

他們認為,如果人工智慧研究人員能夠在構建模擬文字方面技術領先,就可以更好地建立識別虛假文字的技術體系。

目前這項技術僅存在研究,但 Facebook 表示它可以在未來應用廣泛,比如將影象文字翻譯成不同的語言,建立個性化的文字資訊和標題,甚至協助在 AR 世界裡翻譯現實文字。

結語:真假難辨,AI 呈現雙刃劍

2017 年,Deepfake 首次在美國社交新聞網站 Reddit 亮相,成功互換兩部電影女主角的臉。但很快,就被全球封禁。這期間,有一些人因為利益利用 Deepfake 偽造總統致辭,散佈不實傳聞等,人們在真與假中惶惶不安。

圖片上的 PS 技術,視訊領域的 Deepfake 換臉技術,文字領域的文字樣式筆刷技術都會讓人難以分別真假,從而引發一系列辨別真假的鬧劇。

在期待技術給人們帶來更多便捷的時候,我們也要不忘對新的技術抱有謹慎的態度。