Transferring GANs: generating images from limited data 論文學習
Transferring GANs: generating images from limited data
2018ECCV
論文連結：https://arxiv.org/pdf/1805.01677.pdf
Abstract
探究預訓練網路對GAN的影響相關的問題
1. Introduction
貢獻：
1. 研究了域自適應，評估了幾個模型
2. 研究了源域和目標域之間的關係如何影響結果，並討論選擇合適的預訓練模型的問題
3. 評估從GANS轉移到cGAN的兩種常用的方法
2. Related Work
Transfer learning/domain transfer:
巴拉巴拉很多其他的研究，看不懂~
與這些方法相比，作者不關注於傳遞鑑別特徵，而是傳遞用於影象生成的知識，就是關注生成影象的質量。
GAN cGAN相關
3. Generative Adversarial Networks
3.1 Loss functions
3.2 Evaluation Metrics
作者選用兩種評估方法
Fr´echet Inception Distance：
Independent Wasserstein (IW) critic：
4. Transferring GAN representations
4.1 GAN adaptation
作者採用WGAN-GP的結構，說這是被實驗證明是唯一穩定並且不遭受模式崩潰的架構~
該生成器由一個全連線的層、四個resnet塊和一個卷積層組成，並且鑑別器具有相同的設定。相同的體系結構用於CGAN。
Implementation details：
生成64X64的圖片，還介紹了下學習速率設定和批訓練
4.2 Generator/discriminator transfer configuration
進行了四個實驗
用ImageNet預訓練G 和D（也就是轉移） ，用LSUN bedrooms做目標資料
我們可以發現轉移訓練D效果比轉移G更好。然後都轉移效果最好，所以後續作者說都採用對G，D都轉移
可以發現轉移GAN迭代時間短，且質量更好。
4.3 Size of the target dataset
又進行實驗
作者使用來自LSUN臥室資料集的1000張影象做目的資料集，並使用IMANET作為源資料集。請注意，一般來說，GAN 要使用全套300萬幅LSun臥室來做生成。
好了，看看結果吧~
在這個實驗中，我們發現根據預訓練模型自適應的GAN需要少於大約兩到五倍的影象，就可以獲得與從頭開始訓練的GAN相似的分數
可以發現預訓練網路可以在早期迭代中已經生成高質量的影象，特別是具有更清晰和更明確的形狀和更逼真的精細細節。
4.4 Source and target domains
作者開始研究原域與目標域的選取對實驗的影響，沒錯，又要開始實驗了
原域：ImageNet和Places都覆蓋了廣闊的領域，物件和場景分別具有很大的多樣性，而LSUN臥室和CelebA則覆蓋了更窄的領域。
目標域：作者使用了更小的資料集，包括Oxford Flowers、LSUN Kitchens（2M影象中的50K的子集）、Label Faces（LFW）和CityScapes
看看效果圖：
可以看出，各有千秋把~
4.5 Selecting the pretrained model
那麼怎麼選擇預訓練模型呢？
也許最簡單的方法是比較原源和目標域之間的距離，如下
與表4比，大致一致，還是有點差別
然後作者得出結論：
源資料和目標真實資料之間的FID是粗糙的指標，而不是精確度量。實驗小王子~~
4.6視覺化適應過程
這個過程還是比較有意思，可以看到圖片在慢慢的從原域轉換到目標域
5.轉移到條件GAN
5.1條件GAN適應
作者用AC-GAN的模型
損失函式為：
由甘到cGAN的兩種方法：
1. Cond Concat：將條件標籤和輸入噪聲連線作為輸入
2. Cond BNorm：將條件標記插入生成器的批歸一化層中（納尼？！）在這種情況下，每個類都有不同的批處理歸一化引數。我們通過複製從無條件的甘到所有類的值來初始化這些引數。
5.2結果
可以發現效果更好
還進行了和前面一樣的尺寸實驗：
6結論
1.從預訓練模型中轉移GAN效果比從0開始強，迭代的更快，質量更好，cGAN也是
2.結果還表明從窄而密集的資料集中傳遞知識更有效
（ps好吧，全篇都是實驗~~~~這也行）
---------------------
作者：眉間細雪
來源：CSDN
原文： https://blog.csdn.net/weixin_42445501/article/details/82757437
版權宣告：本文為博主原創文章，轉載請附上博文連結！