AI 已經能教你畫油畫了。

隨便給一張圖，筆畫序列秒秒鐘呈現。

比如世界名畫蒙娜麗莎。

亦或是寫實類的小鳥。

還有極具氛圍感的河燈。

總之什麼風格都可以駕馭。

這項技術在 Reddit 上 21 小時內就已經有 600 + 的點贊量。

究竟是如何打造的呢？

用前饋網路預測筆畫

神經繪畫，就是為給定的影象生成一系列筆畫，並使用神經網路進行繪畫式的真實再現過程。

研究團隊提出了一個基於 Transformer 的框架，叫做 Paint Transformer，用前饋網路來預測筆畫的引數。

由於當前沒有可用的資料集來訓練 Paint Transformer，受物體檢測啟發，研究人員設計了一個自訓練 Pipeline。

整個模型由兩個模組組成：筆畫預測器和筆畫渲染器。

給定目標影象和中間畫布影象，筆畫預測器，生成一組引數以確定當前筆畫集。

預測器包含了兩個用於特徵嵌入的 CNN 網路和一個用於引數預測的 Transformer。

隨後，筆畫渲染器為筆畫集彙總的每個筆畫，生成筆畫影象，並將它們繪製到畫，產生結果影象，大小為 512*512。

在 DETR（用 Transformer 進行物件檢測）的基礎上，增加了二進位制神經元來預測筆畫是否應該被保留。

這樣它就可以在沒有任何現成的資料集的情況下進行訓練，同時還能實現出色的泛化能力。

實驗表明，這一方法比以前的方法取得了更好的繪畫效能，而且訓練和推理成本更低。

百度南大團隊打造

這項技術由百度、南京大學、羅格斯大學共同打造。

目前程式碼已經開源，並在一刻相簿 App 上應用。

論文地址：

https://arxiv.org/abs/2108.03798

GitHub 網址：

https://github.com/wzmsltw/PaintTransformer