CVPR2020｜Image Processing Using Multi-Code GAN Prior【論文閱讀筆記】

• 作者
• 相關連結
• 前言
• 介紹

作者

Jinjin Gu, Yujun Shen, Bolei Zhou

相關連結

• Paper:https://openaccess.thecvf.com/content_CVPR_2020/html/Gu_Image_Processing_Using_Multi-Code_GAN_Prior_CVPR_2020_paper.html
• Code:https://github.com/genforce/mganprior
• Webpage:https://genforce.github.io/mganprior/

前言

論文發表在2020年的CVPR上，作者是香港中文大學周博磊團隊的三位成員。該論文做的工作，一句話說來就是：提出了一種mGANprior的方法，這種方法利用預訓練的GAN模型通過多潛碼(multiple latent codes)的方式來重建真實影象。

介紹

GAN 自從2014年由Goodfellow大神提出以後，已經火到了2020年，在很多領域都取得了成功。但是在真實影象處理這一方面還是存在很多挑戰。之前的工作要麼是通過反向傳播要麼是通過訓練一個encoder來將影象空間對映(invert)回潛空間。而利用這兩種方法重建影象的效果總是差強人意。
由此，文中作者提出一種叫做多碼GAN先驗(multi-code GAN prior,簡稱mGANprior)的方法,將已經訓練完好的GAN模型作為一種有效先驗，用於多種影象處理任務中。具體而言，作者在生成器(generator)的中間層用多種潛碼(multiple latent code)來生成多種特徵圖(feature map)，並通過自適應通道重要性機制(adaptive channel importance)將他們組合起來，重建輸入影象。