最近看生成式對抗網路，做了一點有意思的事情，發現這個東西用於生成驗證碼真是太爽了，當然精度還有待提高。

傳送門
關於生成式對抗網路的原理，自己百度下很多博文
條件生成式對抗網路，也有很多

概述
使用的原始域影象為SVHN資料集（老外的門牌號數字），目標域影象為MINST資料集，利用生成式對抗網路可以完成下圖的轉換。看見這個我想起讓我想起了12306的驗證碼，這讓我覺得生成式對抗網路可能會應用於Anti-spam工作。

原工作概述
上面的工作來自於《UNSUPERVISED CROSS-DOMAIN IMAGE GENERATION》這篇論文，其原理圖如下

f相當於一個編碼器使用的是卷積網路，g相當於解碼器使用的是反捲積網路，兩者合併起來相當於G生成網路，D是用來同生成網路對抗訓練的鑑別網路使用的為卷積網路，這兩部分是比較原始的條件生成式對抗網路。在此基礎上，又利用共享的權重對於G生成的影象再次輸入到f中，計算f（g（x））和f（x）的L1損失，其中x為輸入的影象。這一改進通俗的說就是無論你是什麼形式的圖片（SVHN還是MINIST）你經過卷積提取出的高維特徵都應該是一樣，因為你們本質上表達的資訊都是“同一個數字”。此外，作者在這裡還改進了一點就是將目標域影象也輸入到G網路中那麼他生成的網路應該仍然是目標域的影象。

原工作的訓練

預設已經知道原始生成式對抗網路的訓練過程

• 預訓練
  這篇論文說是無監督的訓練，但是在f編碼器使用的時候需要對其進行預訓練，並且是有監督的訓練。
  1）設計好f編碼網路，在其最後一層加上softmax層用於輸入“0-9”的結果
  2）使用原始域（SVHN資料集）並且帶有標籤的，對1）中的網路進行有監督的分類訓練
  3）將最後一層softmax層去除，連線g解碼網路

• 對抗網路的損失
  只要是生成網路生成的影象都是負樣本，目標域影象是正樣本，使用的是crossentropy損失函式

• 生成網路的損失
  1）來自對抗網路的鑑別損失；2）兩個f編碼器的L1損失，3）輸入目標域影象與生成的目標域的L1損失

• 總結
  使用了原論文的設計跑出來的效果還算可以，但是預訓練是有監督的訓練跟論文題目說的無監督有點相悖，以下我改進了一點，主要提升了轉換後的準確率和清晰度

改進的網路結構

改進說明
既然原文使用的資料都是有標籤的，且f編碼網路使用了有監督的預訓練，博主借鑑了pix2pix的思想，直接改成有監督的訓練。
1）兩個f編碼網路最後一層L1損失，反映的最後一層損失，按此思路在其之前輸出應該也同樣存在著損失，所以我增加了多層之間的損失
2）既然有了真實的標籤，那麼轉換後生成的目標域影象就能和真實的影象進行損失計算，這裡使用的同樣是L1的損失
3）D鑑別網路原論文使用的是簡單的二分類網路，提供的損失只是真假

關於原始碼
只能給你們一個《UNSUPERVISED CROSS-DOMAIN IMAGE GENERATION》的傳送門了，自己的原始碼可能不能馬上公佈，還有些試驗要使用。
https://github.com/yunjey/domain-transfer-network