由於檔期限制，我們經常會看到動畫由於製作時間緊迫而出現作畫崩壞的情況。來自蘇州大學的研究者們提出的 Style2paints 或許可以幫助我們緩解這樣的情況，這種工具可以使用 AI 技術為黑白線稿快速自動上色。在最近推出的 2.0 版中，研究人員使用了完全無監督的生成對抗網路（GAN）訓練方法大幅提高了上色的準確性。Style2paints 的作者表示，該工具在精細度、漫畫風格轉換等方面超越了目前其他所有工具。

• GitHub 連結：https://github.com/lllyasviel/style2paints
• 直接使用：http://paintstransfer.com/
• 教程視訊：https://www.bilibili.com/video/av17537429/

我們很高興釋出 style2paints 的 2.0 版，一個強大的動漫繪畫工具。在這裡，我們會主要介紹它的新特性。

動漫線稿上色

當我們談到「上色」時，在人工智慧語境裡這意味著將線稿的風格轉換為彩色漫畫風格，其重要之處在於：

1. 讓我們直接在純線稿上生成彩色草圖。這意味著藝術家們不必再線上稿上加入高亮或陰影。這一部分非常具有挑戰性。近期的 paintschainer 專注於提升陰影部分的表現，我們給出了自己不同的解決方案，我們對新方法的效能非常有信心。

2.「上色」會將線稿風格遷移為彩色圖畫。圖畫和上色的線稿圖，其中的區別在於陰影和紋理。在高質量的彩色漫畫中，女性角色的眼鏡應該像星光一樣閃耀，臉頰泛紅，面板細膩，我們盡最大的努力來提升這些部分——而不僅僅專注於填充顏色。

最大貢獻

1. 最高準確度

Stylepaints2 的開發者表示其推出的工具有著準確率最高的色彩提示筆，這種被稱為「神經提示筆（neural hint pen）」的工具結合了顏色選擇器和簡單的鋼筆工具。藝術家可以選擇顏色並在線稿的任何部位加入顏色提示。絕大多數業內最佳的神經網路上色工具都有類似的工具。縱觀目前的所有動漫上色工具（Paintschainer Tanpopo、Satsuki、Canna、Deepcolor、AutoPainter（存疑）），Stylepaints2 的筆工具擁有最高的準確度。在最具挑戰性的情況下，藝術家甚至能在 1024×2048 解析度的圖畫上使用 3×3 的提示筆控制 13×13 區域的顏色。對於更大的區塊，3×3 畫素點的提示甚至可以控制半張畫幅的顏色。這是一個非常具有挑戰性的設計，這也意味著該工具是面向專業用途的（與此同時，其他上色方法的提示筆工具更傾向於嘈雜的提示，對於準確性把握不佳）。

2. 最自然的風格

當提到「自然」的時候，我們的意思是在訓練過程中不加入任何人工制定的規則，如果你熟悉 pix2pix 或 CycleGAN，你就會明白這些經典方法都會加入一些額外的規則以確保生成影象的高質量。例如，pix2pix（或 HQ）會向學習目標加入一個 l1 損失函式（或一些深度 l1 損失），同時鑑別器接收 [input，training data] 和 [input, fake output] 對。雖然此前的版本中 Stylepaints 使用了這些方法，但新版本中訓練是純粹無監督，且完全無條件的。在訓練時，開發者未加入強制神經網路為草圖上色的規則，但神經網路自行從輸入圖片中學習到了上色的方法，這樣的過程讓鑑別器更加難以識別。最終的學習目標與經典的 DCGAN 完全相同，沒有其他任何東西，同時鑑別器也不會收到 pairs。在神經網路非常深的情況下，這種方式非常難以收斂。

3. 最協調的風格

對我們大多數人來說，繪畫是非常困難的，這也就是為什麼我們會比較佩服藝術家。一位優秀藝術家的最重要技能就是為繪畫選擇和諧的色彩。大多數人都不知道在繪畫領域中有十多種藍色，並且雖然這些顏色被稱為「藍色」，但它們之間的差異會對繪畫結果產生巨大的應用。想象一下，如果非專業使用者執行著色軟體，而軟體向用戶展現 20×20=400 的巨大調色盤，並向用戶詢問「你需要哪種影象呢？」我很確定這些非專業使用者將不能選擇最好的顏色。但是這對 STYLE2PAINTS 來說並不是什麼問題，因為使用者能上傳參考影象（或稱為風格影象），然後使用者能直接在影象上選擇色彩，神經網路隨後會根據這些影象和提示的顏色自動為新影象上色。這種色彩協調的著色對於非專業人員來說是友好的。在所有的人工智慧動漫繪畫智慧體中，我們的方法是唯一帶有這種協調特徵的模型。

動漫風格遷移

是的，這就是一種動漫風格遷移。我不確定我們是不是第一個做這種遷移，但是我確定如果你需要一種動漫繪畫的遷移方法，你在網上搜一圈後會最終發現我們的 STYLE2PAINTS 是最好的選擇，事實上它也是唯一的選擇。許多來自亞洲的論文表明他們已經能夠遷移動漫繪畫風格，但是如果你仔細查閱他們的論文，你就會發現所謂的新方法其實就是對 VGG 進行調參。因此，下面我們展示了模型的真實情況：

1. 所有基於 ImageNet VGG 的遷移方法在動漫繪畫中效能並不夠優秀。
2. 所有基於 Anime Classifier 的方法也都不夠優秀，因為我們並沒有像 ImageNet 那樣的動漫資料集。如果你在 Illustration2vec 或其它一些動漫分類器上執行一些 gram 矩陣優化器，你能獲得的只有一個完美的 Gaussian Blur Generator，因為所有當前的動漫分類器在特徵學習上做得並不好。
3. 因為上面兩條，當前所有基於 gram 矩陣、馬爾科夫隨機場、矩陣範數和深度特徵 patchMatch 的方法在動漫上效能都不夠好。
4. 因為上面三條，所有前饋的快速遷移方法在動漫上都不夠優秀。
5. GAN 也可以做風格遷移，但是我們需要使用者上傳特定的風格，而不是選擇 Monet/VanGogh。

但幸運的是，我們設法完成了當前版本的應用，並且對它也十分有信心。讀者可以嘗試這個應用或檢視該模型的原始碼：

• 應用地址：http://paintstransfer.com/
• 模型地址：https://github.com/lllyasviel/style2paints

注意，有些預覽的動漫線稿圖並不是我們挑選的，我們直接使用了 Paintschainer 來提升線稿圖效果。如果你們獲得的結果不太好，那麼你可以在 Reddit 上討論。

Reddit 地址：https://www.reddit.com/r/MachineLearning/comments/7mlwf4/pstyle2paintsii_the_most_accurate_most_natural/drv72cj/

說一點技術上的事情：

不知道是什麼時候開始的，關於影象處理出現了一個套路，就是用 ResNet 堆砌網路深度，然後就可以量產出論文，最近有很多類似的文章。Style2paints 的模型裡面沒有 ResBlock。研究人員使用的是特別適合線稿上色的一種 Inception 變體。

• PaintsTransfer2.0 教程地址：https://www.bilibili.com/video/av17537429/

效果圖

啟動伺服器

我們需要 Python 3.5/3.6 的環境

1. pip install tensorflow_gpu

2. pip install keras

3. pip install bottle

4. pip install gevent

5. pip install h5py

6. pip install opencv-python

7. pip install scikit-image

8. git clone https://github.com/lllyasviel/style2paints.git

9. (then download all pretrained models from 'release' page and then decompress them to 'style2paints/server')

10. cd style2paints/server

11. python server.py

模型

模型可以在該專案下的 Release 介面找到，目前製作者保留這些模型的所有權。

訓練資料集

1. 推薦的訓練資料集是來自 nico-opendata 的 400k 張影象：https://nico-opendata.jp/en/seigadata/index.html

2. 推薦的線稿圖訓練方法可以選擇 sketchKeras：https://github.com/lllyasviel/sketchKeras