1 簡介

利用神經網路可以從文字生成圖片，即將文字的語義轉化為圖片; 也可以從圖片生成文字，即生成的文字描述圖片中的內容，例如一幅圖片中有一直小鳥落在枝頭。最後由圖片生產的文字就可以能可愛的綠色小鳥落於枝頭。在計算廣告中這種文字和圖片之間互相生成的過程非常有用，如果可以在工業界有所突破，他們在廣告創意的製作中將會發揮巨大作用，例如選定一個創意標題，立刻得到了創意圖片，當製作完成了創意圖片時也立刻得到了創意標題。

2 對抗網路(DCGAN)

２.１ 原理

• 生成過程
  輸入的是高斯分佈的資料，最終生成圖片，相等於卷積網路的逆過程，如下圖
  

  
  
  圖1 生成網路

• 對抗學習
  將真實圖片和生成網路產生的圖片當成正，負樣本，同時送入一個卷積網路，訓練卷積網路，然後再將真實圖片當成負樣本，輸入卷積網路對抗學習，達到調節生成網路的目的，如下圖
  

  
  
  圖2 對抗學習網路

主要參考這篇文章

Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(DCGAN)

2.2 應用

• 生成模型的應用
  通過一個微調輸入生成不同風格的影象，如下圖，只要微調輸入高斯分佈資料就可以得到不同的風格，顏色的漫畫
  

  
  
  圖3 生成模型的應用

• 判別模型的應用
  可以利用已經學習好的判別模型對圖片進行特徵抽取，詳見DCGAN參考文章。下圖是從判別模型抽取圖片特徵然後分類的效果對比
  

  
  
  圖4 判別模型抽取圖片特徵分類效果對比

3 DCGAN在Text2Image上的應用

３.１ 意義

圖片與文字之間互相生成在廣告創意製作上有非常重要的意義，可以得到炫酷的效果，見下圖

３.２ Text2Image

文字生成圖片的網路結構如下

３.3 生成過程

生成過程與原生的DCGAN複雜，如下圖

3.4 示例

參考文獻

• Generative Adversarial Text to Image Synthesis
• Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(DCGAN)
• Generative Adversarial Networks
• Conditional Generative Adversarial Nets
• Emerging Topics in Learning from Noisy and Missing Data: Zero Shot Learning