位元組跳動最新文字生成影象 AI，訓練集里居然沒有一張帶文字描述的圖片？！
一個文字-影象對資料都不用，也能讓 AI 學會看文作圖？來自位元組的最新 text2image 模型，就做到了。實驗資料顯示，它的效果比 VQGAN-CLIP 要真實，尤其是泛化能力還比不少用大量文字-影象資料對訓練出來的模型要好很多。
嗯？不給文字註釋 AI 怎麼知道每一張圖片代表什麼？這個模型到底咋訓練出來的？
不用文字訓練也能根據文字生成影象
首先，之所以選擇這樣一種方式，作者表示，是因為收集大量帶文字的影象資料集的成本太高了。而一旦擺脫對文字-影象對資料的需求，我們就可以直接用大型無文字影象資料集（比如 ImageNet）來訓練強大且通用的 text2image 生成器。位元組實現的這個模型叫做 CLIP-GEN，它具體是怎麼操作的？
一共分三大步。
首先，對於一幅沒有文字標籤的影象，使用 CLIP 的影象編碼器，在語言-視覺（language-vision）聯合嵌入空間（embedding space）中提取影象的 embedding。
接著，將影象轉換為 VQGAN 碼本空間（codebook space）中的一系列離散標記（token）。也就是將影象以與自然語言相同的方式進行表示，方便後續使用 Transformer 進行處理。其中，充當 image tokenizer 角色的 VQGAN 模型，可以使用手裡的無標記影象資料集進行訓練。
最後，再訓練一個自迴歸 Transformer，用它來將影象標記從 Transformer 的語言-視覺統一表示中映射出對應影象。經過這樣的訓練後，面對一串文字描述，Transformer 就可以根據從 CLIP 的文字編碼器中提取的文字嵌入（text embedding）生成對應的影象標記（image tokens）了。
那這樣全程沒有文字資料參與訓練的文字-影象生成器，效果到底行不行？
效能與清華 CogView 相當
作者分別在 ImageNe 和 MSCOCO 資料集上對 CLIP-GEN 進行訓練和評估。首先，用 MS-COCO 驗證集中的六個文字描述生成樣本。CLIP-GEN 和其他通過大量文字-影象對訓練的 text2image 生成模型的效果對比如下：
其中，VQGAN-CLIP 的結果比較不真實，並且伴隨嚴重的形狀扭曲。來自清華的 CogView 號稱比 DALL-E 更優秀，在這裡的實驗中，它確實可以生成良好的影象結構，但在紋理細節上差點兒事兒。DF-GAN 可以生成具有豐富細節的合理影象，但也容易產生區域性偽影。
作者認為，與這些對比模型相比，CLIP-GEN 的影象細節更豐富，質量更高一些，比如它就很好地詮釋了第二組文字中要求的“水中倒影”（不過不太能理解“三隻毛絨熊“中的數字概念）。
定量實驗結果基本證明了這一結論：
CLIP-GEN 拿到了最高的 FID-0、FID-1 分數；CapS 得分（衡量輸入文字和生成影象之間的語義相似性）除了比 CogView 低 4%，比其他模型都高很多。
此外，作者還發現，CLIP-GEN 的泛化能力似乎也不錯。在下面這組非常規的文字描述中，比如生成“一隻會飛的企鵝”，“叼雪茄的狗”、“有臉和頭髮的檸檬”……CLIP-GEN 基本都可以實現，別的模型卻不太能理解。
作者介紹
本模型的五位作者全部來自位元組。
一作 Wang Zihao 本科畢業於北京理工大學，博士畢業於 UC 伯克利，曾在谷歌擔任 3 年軟體開發工程師，現就職於 TikTok。
通訊作者名叫易子立，本科畢業於南京大學，博士畢業於加拿大紐芬蘭紀念大學，目前在位元組擔任人工智慧專家（主要研究多模態、超解析度、人臉特效），在此之前，他曾在華為工作。
論文地址：
https://arxiv.org/abs/2203.00386