Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

摘要

背景：影象到影象的遷移是計算機視覺中的一個很有意思的問題。目標是學習一個從輸入圖片到目標圖片的對映，在訓練中需要使用成對的訓練集。

問題：成對的訓練資料並不是那麼容易獲得的。

本文方法：學習一個從源域(source domain)到目標域(target domain)的對映G:X→Y$G:X\to Y$來進行影象的遷移。使用一個對抗損失，使得來自於G(X)的圖片的分佈與分佈Y無法區分，即使得生成的圖片的分佈與目標域的圖片的分佈逼近。既然兩者的分佈是趨向於相同的，那麼可以想到，既然A與B無法區分，那麼也意味著B與A無法區分，即這個關係是相對的，所以我們就可以定義一個逆對映

F:Y→X$F:Y\to X$，於是我們引入一個迴圈一致性損失(a cycle consistency loss)來使得F(G(X))≈X$F(G(X))\approx X$(反之亦然)，含義就是把源域的生成的圖片再映射回源域，其分佈依然是趨於相同的。

實驗:

• 定性分析：不使用成對的訓練集的遷移結果展示，包括collection style transfer，object transfiguration，season transfer，photo enhancement等；
• 定量分析：與一些其它的使用成對資料訓練的方法進行比較。

簡介:

如圖-1左上為例，同一場景下，莫奈的畫作與照片的記錄展現出了兩種不同的情境，我們不禁暢想，給你一副莫奈的畫作，是不是可以自動的產生照片中真實的場景，抑或是給你一副真實的場景，是否可以自動的將其轉化為莫奈的風格。作者展示了其方法的魔力，不像其它的方法在訓練中需要一一對應排序好的訓練資料，只需要兩個無序的集合X(源域)和Y(目標域)，該演算法就可以自動地進行風格的遷移。

稍微回顧下影象到影象的遷移：給定一個場景的影象x，將其轉換到另一個場景的y，比如：將灰度圖轉化到彩色的圖，影象到語義標籤。目前也有很多研究工作，使用成對的資料{x,y}$\left\{x,y\right\}$進行風格的遷移。如圖-2左側所示。

但是呢，這些成對出現的資料集並不是那麼容易獲得的。於是本文探究了一個演算法，不需要這些成對的資料，如圖-2中右側所示。這裡作者做了一個假設：在源域和目標域存在潛在的關係。其實就是兩者從分佈上而言，是存在相似性的。這裡留下一個問題：如果兩個域完全不同或者說差別非常大結果會怎麼樣呢？

給定源域的圖片集合X以及另一個域的圖片集合Y，我們使用對抗的思想學習一個對映G:X→Y$G:X$

→Y，其輸出y^=G(x),x∈X$\hat{y}=G(x),x\in X$，與y∈Y$y\in Y$無法區分。

我們不禁想到這樣一個問題，這個不成對的訓練是怎麼進行的呢？如果仍然使用傳統的GAN的損失和訓練方式，使用這些不成對的資料集進行訓練，會出現什麼問題呢？作者發現:

• 無法保證對於一個輸入x，可以得到有意義的輸出y，因為使用了不成對的訓練集，但是可以學到無數種的對映G，而這些G都可以使生成的分佈y^$\hat{y}$逼近與目標域。
• 單獨優化對抗損失非常困難，導致了一些不可名狀的問題，如model collapse(即生成的樣本的多樣性問題)。

如何解決呢？作者發現在遷移過程中有這樣一個特性——”迴圈一致性“。比如：我們將一個句子從英語翻譯到法語，再將其翻譯回英語，我們應該得到與原始的英文相同的句子(不禁想起了以前整理的的Dual Learning的文章，有興趣的可以看下)。用數學符號來表示下：我們有一個轉換器(對映):G:X→Y$G:X\to Y$，和另一個轉換器F:Y→X$F:Y\to X$。那麼G和F應該是互逆的，即兩者是一個雙向對映。於是可以同時訓練G和F來確保這個性質，增加一個迴圈一致性損失，使得F(G(x))≈x$F(G(x))\approx x$以及G(F(x))≈y$G(F(x))\approx y$。組合該損失和對抗損失，就得到了我們整體的非正對的影象到影象遷移的優化目標。

公式

給定訓練集樣本{xi}Ni=1∈X${\left\{x_i\right\}}_{i=1}^N\in X$和{yj}Mj=1∈Y${\left\{y_j\right\}}_{j=1}^M\in Y$。如圖-3(a)所示，模型包含兩個對映：G:X→Y$G:X\to Y$和F:Y→X$F:Y\to X$。此外，引入兩個對抗的判別器DX$D_X$和DY$D_Y$，DX$D_X$的作用是用來判別{x}$\left\{x\right\}$和{F(y)}$\left\{F(y)\right\}$；DY$D_Y$的作用是用來判別{y}$\left\{y\right\}$和{G(x)}$\left\{G(x)\right\}$。優化目標包含兩項：

• 對抗損失(adversarial loss)：促使生成影象分佈與目標域的影象分佈相逼近
• 迴圈一致性損失(cycle consistency loss)：使得F(G(x))≈x$F(G(x))\approx x$以及G(F(x))≈y$G(F(x))\approx y$。防止學習到的對映G和F互相矛盾。

對抗損失

將對抗損失應用到兩個對映上。對於對映函式G:X→Y$G:X\to Y$和它的識別器DY$D_Y$，目標函式為：

LGAN(G,DY,X,Y)=Ey∼pdata(y)[logDY(y)]+Ex∼

相關推薦

CVPR：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 摘要 背景：影象到影象的遷移是計算機視覺中的一個很有意思的問題。目標是學習一個從輸入圖片到目標

GAN系列：Image-to-Image Translation with Conditional Adversarial Networks

Abstract 1. image-to-image trainslation 存在的兩個問題： 1）many-to-one:將照片對映為edges/segments/semantic labels 2）one-to-many:將labels/sparse user

Unsupervised Image-to-Image Translation Networks(NIPS 2017)

文字為論文翻譯，翻譯儘量為通俗語言，並且盡最大可能還原論文的原意。 原文名：《Unsupervised Image-to-Image Translation Networks》 論文地址： https://arxiv.org/pdf/1703.00848.pdf 對關鍵詞的翻譯，避免造成

image-to-image translation with conditional adversarial networks文獻筆記

Image-to-Image Translation with Conditional Adversarial Networks （基於條件gan的影象轉影象） 作者：Phillip Isola， Jun-Yan Zhu， Tinghui Zhou， Alexei A. Efros 全文連結：https

Image-to-Image Translation with Conditional Adversarial Networks

      影象轉換的條件對抗網路不僅學習了從輸入影象到輸出影象之間的對映，也學習了一個用來訓練這個對映的損失函式。使得網路可以很好地應用到傳統上需要不同損失結構的問題上。         影象處理，圖形學，CV的很多問題都可以概括為將輸入影象轉化為相應的輸出影象，文章就是提出了一個針對這些問題的共同框架。C

《Image-to-Image Translation with Conditional Adversarial Networks》論文筆記

論文連結 摘要 我們研究條件對抗網路的目的是將之作為一種圖片到圖片“翻譯”問題的通用的解決方法。這些網路不僅學習了從輸入影象到輸出影象的對映，還學習了訓練這個對映的損失函式。這使得將這個一般方法解決通常需要完全不同的損失函式公式的問題成為了可能。我們證實

深度學習論文翻譯解析（二）：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition

論文標題：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition 論文作者： Baoguang Shi, Xiang B

Introduction to Image Caption Generation using the Avenger’s Infinity War Characters

Deep learning can be a daunting field for beginners. And it was no different for me - most of the algorithms and terms sounded from another world! I needed

LAPGAN：Deep Generative/Image Models using a Laplacian Pyramid of Adversarial Networks 使用拉普拉斯金字塔的GAN

Emily Denton Dept. of Computer Science Courant Institute New York University Soumith Chintala

論文筆記：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application

1.歷史方法 1）基於字元的DCNN,比如photoOCR.單個字元的檢測與識別。要求單個字元的檢測器效能很強，crop的足夠好。 2）直接對圖片進行分類。9萬個單詞，組合成無數的單詞，無法直接應用 3）RNN,訓練和測試均不需要每個字元的位置。但是需要預處理，從圖片得到特

ERROR： from PIL import Image ImportError: No module named PIL

target 下一步 .com pil bubuko from wid AR 直接 ERROR： from PIL import Image ImportError: No module named PIL 到　http://www.pythonware.com/prod

Docker學習筆記三：Docker鏡像image

nta process space ffffff 筆記 地址 running build mark Docker的C/S模式的運行 一：查看鏡像#docker images REPOSITORY TAG IMAGE ID

Access to Image at 'file:///Users canvas本地圖片跨域報錯解決方案

本地服務 canvas 解決方案 圖片 報錯 訪問 can 支持 ESS 1、設置跨域 添加跨域條件 crossorigin="anonymous" 前提是後端支持這個圖片跨域 2、上面加了之後還是報錯 　　如標題所示 　

dom-to-image實現的網頁截圖

dom-to-image如何使用請參考https://blog.csdn.net/u012260672/article/details/79302465 下面我們就不廢話了直接上演示: <!DOCTYPE html> <html> <head>

論文閱讀1《AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networ》

paper連結https://arxiv.org/abs/1711.10485， code連結https://github.com/taoxugit/AttnGAN， 作者的homepage https://sites.google.com/view/taoxu 本文給出的是CVPR 2

Python：Fatal error in launcher: Unable to create process using 問題排查

cmd> django-admin 回車Fatal error in launcher: Unable to create process using '"c:\users\administrator\appdata\local\programs\python\python37\python.exe"

virtualenv使用報錯：Fatal error in launcher: Unable to create process using '"'

python virtualenv使用報錯：Fatal error in launcher: Unable to create process using '"' 在一個系統中共存Python2、python3的時候，virtualenv使用的時候會報錯：

OpenLayers官方示例詳解二：Drag-and-Drop Image Vector

目錄 四、總結 一、示例概述     本示例實現了從資料夾中拖拉檔案到瀏覽器從而載入地理資料的功能，地理資料是以圖片的形式展示在瀏覽器。 二、程式碼詳解 2.1、建立DragAndDrop控制元件並新增到地圖 var

打開圖像文件失敗匯總：“Could not load image... ...0x## 0x##”錯誤

圖片 strong 打開 start web -a error 不支持 圖片文件 造冰箱的熊貓@cnblogs 2018/12/15 在Ubuntu上使用Image Viewer打開圖片文件時，有時會遇到“Could not load image ‘00

開啟影象檔案失敗彙總：“Could not load image... ...0x## 0x##”錯誤

造冰箱的熊貓@cnblogs 2018/12/15   在Ubuntu上使用Image Viewer開啟圖片檔案時，有時會遇到“Could not load image '001.jpg'. Error interpreting JPEG image file (Not a JPEG file: