李弘毅老師GAN筆記(三),Unsupervised Conditional GAN
阿新 • • 發佈:2018-12-10
轉載自:
目錄
0 概述
兩種方法,如圖1所示,方法一是直接轉換,方法二是先得到特徵再解碼。
圖1 兩種方法簡介
1 直接轉換
1.1 第一種方法
如圖一所示,判別網路判斷生成圖片是否是第二類,但是容易出現生成影象與輸入影象不相關,不過可以通過設計生成網路來解決,簡單的生成網路則可以使得輸入與輸出相關。
圖2 方法一示意圖
1.2 第二種方法
如圖 3 所示,可以通過一個預訓練的編碼器得到生成網路的輸入與輸出的特徵,使其越接近越好。
圖3 第二種方法示意圖
1.3 第三種方法
如圖4所示,是一種類似環形的形式,叫做 Cycle GAN。
圖4 第三種方法示意圖
1.4 StarGAN
是一種可以生成各種多種類別的網路,由於只使用了一個生成網路,所以類似星星的形狀,如圖5所示,其結構圖如圖6所示,示例如圖7所示。
圖5 StartGAN
圖6 StarGAN 結構圖
圖7 StarGAN 示例
2 基於特徵轉換
理想效果如圖8所示,下面也是介紹各種方法。
圖8 基於特徵轉換理想效果
2.1 第一種方法
共享編碼網路和解碼網路的部分權值。
圖9 第一種方法示意圖
2.2 第二種方法
在特徵出加判別網路,判斷為哪一類輸出的特徵,期望兩種類別輸出特徵相同。如圖10所示。
圖10 第二種方法示意圖
2.3 第三種方法
叫做ComboGAN,是一種迴圈結構,要求最終還原影象與輸入影象相同,如圖 11 所示。
圖11 第三種方法示意圖
2.4 第四種方法
與第三種類似,只不過是要求最終兩種類別輸出特徵相同。如圖12所示。
圖12 第四種方法示意圖
3 其他應用
除了可以用作影象領域,也可以用作其他領域,比如聲音領域,輸入是一個人的聲音,輸出是另一種人的聲音。在過去用傳統的監督學習的話,需要獲得兩個人說相同的句子的錄音,而學習了今天的內容,獲得不同內容錄音也可以了。