GAN

由Goodfellow等人於2014年引入的生成對抗網絡（GAN）是用於學習圖像潛在空間的VAE的替代方案。它們通過強制生成的圖像在統計上幾乎與真實圖像幾乎無法區分，從而能夠生成相當逼真的合成圖像。

理解GAN的直觀方式是想象一個偽造者試圖創造一幅偽造的畢加索作品。起初，偽造者的任務非常糟糕。他將他的一些假貨與真正的畢加索混合在一起，並將它們全部展示給藝術品經銷商。藝術品經銷商對每幅畫進行真實性評估，並給出關於畢加索看起來像畢加索的原因的偽造反饋。偽造者回到他的工作室準備一些新的假貨。隨著時間的推移，偽造者越來越有能力模仿畢加索的風格，藝術品經銷商越來越專業地發現假貨。最後，他們手上拿著一些優秀的假畢加索。

這就是GAN的意義：偽造網絡和專家網絡，每個網絡都經過最好的培訓。因此，GAN由兩部分組成：

• 生成網絡(generator): 將隨機向量（潛在空間中的隨機點）作為輸入，並將其解碼為合成圖像；
• 辨別網絡(discriminator): 將圖像（真實的或合成的）作為輸入，並預測圖像是來自訓練集還是由生成器網絡創建。

生成器網絡經過訓練，能夠欺騙鑒別器網絡，因此隨著訓練的進行，它逐漸產生越來越逼真的圖像：人工圖像看起來與真實圖像無法區分，只要鑒別器網絡不可能鑒別兩張圖片。同時，鑒別器不斷適應發生器逐漸改進的能力，為生成的圖像設置了高度的真實感。一旦訓練結束，生成器就能夠將其輸入空間中的任何點轉換為可信的圖像。與VAE不同，這個潛在空間對有意義結構的明確保證較少;特別是，它不是連續的。

值得註意的是，GAN是一個優化最小值不固定的系統。通常，梯度下降包括在靜態損失中滾下山丘。但是使用GAN，從山上下來的每一步都會改變整個景觀。這是一個動態系統，其中優化過程尋求的不是最小，而是兩個力之間的平衡。出於這個原因，GAN是眾所周知的難以訓練 - 讓GAN工作需要大量仔細調整模型架構和訓練參數。

GAN實現示意圖

使用keras實現一個簡單的GAN網絡：DCGAN，Generator和Discriminator都是由卷積網絡組成。使用Conv2DTranspose網絡層在Generator用來對圖片上采樣。

在CIFAR10,50000張32x32 RGB圖片數據集上訓練。為了訓練更容易，僅使用“青蛙"類圖片。

實現GAN網絡流程：

1. generator網絡將(latent_dim, )向量轉換成(32,32,3)圖片；
2. discriminator將(32,32,3)圖片映射到2分類得分上，得到圖片為真的概率；
3. gan網絡將generator和discriminator結合起來：gan(x) = discriminator(generator(x))。gan網絡將隱空間向量映射到鑒別器鑒別generator由隱空間向量生成圖片為真的概率上；
4. 使用帶real/fake標簽的real、fake圖片對Discriminator訓練；
5. 要訓練Generator，可以使用gan模型損失對Generator權重的梯度。這意味著，在每個步驟中，將生成器的權重移動到使鑒別器更可能將生成器解碼的圖像歸類為“真實”的方向上。換句話說，你訓練生成器來欺騙鑒別器。

A bag of tricks

眾所周知，訓練GAN和調整GAN實現的過程非常困難。你應該記住一些已知的技巧。像深度學習中的大多數事情一樣：這些技巧是啟發式的，而不是理論支持的指導方針。 他們得到了對手頭現象的直觀理解的支持，並且他們已經知道在經驗上運作良好，盡管不一定在每種情況下都有效。
以下是實現GAN生成器和鑒別器時使用的一些技巧。它不是GAN相關技巧的詳盡列表;你會在GAN文獻中找到更多：

• Generator使用tanh作為最後一層的激活函數，而不是sigmoid；
• 隱空間取樣時使用正態分布(高斯分布)，而不是均勻分布；
• 為了健壯性可以增加隨機性。由於GAN訓練導致動態平衡，GAN可能會以各種方式陷入困境。在訓練期間引入隨機性有助於防止這種情況。我們以兩種方式引入隨機性：通過在鑒別器中使用dropout並通過向鑒別器的標簽添加隨機噪聲。
• 稀疏梯度可能會阻礙GAN訓練。在深度學習中，稀疏性通常是理想的屬性，但在GAN中則不然。有兩件事可以引起梯度稀疏：最大池操作和ReLU激活。建議使用跨步卷積進行下采樣，而不是最大池化，建議使用LeakyReLU層而不是ReLU激活。它與ReLU類似，但它通過允許小的負激活值來放寬稀疏性約束。
• 在生成的圖像中，通常會看到由於生成器中像素空間的不均勻覆蓋而導致的棋盤格偽影（見圖8.17）。為了解決這個問題，每當我們在生成器和鑒別器中使用跨步的Conv2DTranpose或Conv2D時，我們使用可以被步長大小整除的內核大小。

Generator

首先，開發一個生成器模型，該模型將矢量（從潛在空間 - 在訓練期間將隨機采樣）轉換為候選圖像。 GAN通常出現的許多問題之一是生成器卡在生成的看起來像噪聲的圖像。一種可能的解決方案是在鑒別器和發生器上使用dropout。
GAN 生成器網絡

import keras
from keras import layers
import numpy as np

latent_dim = 2
height = 32
width = 32
channels = 3
generator_input = keras.Input(shape=(latent_dim,))

x = layers.Dense(128 * 16 * 16)(generator_input)
x = layers.LeakyReLU()(x)
x = layers.Reshape((16, 16, 128))(x)#將輸入轉換成16*16 128通道的特征圖

x = layers.Conv2D(256, 5, padding='same')(x)
x = layers.LeakyReLU()(x)

x=layers.Conv2DTranspose(256, 4, strides=2, padding='same')(x)#上采樣32*32
x = layers.LeakyReLU()(x)

x = layers.Conv2D(256, 5, padding='same')(x)
x = layers.LeakyReLU()(x)
x = layers.Conv2D(256, 5, padding='same')(x)
x = layers.LeakyReLU()(x)

#產生32x32 1通道的特征圖
x = layers.Conv2D(channels, 7, activation='tanh', padding='same')(x)
generator = keras.models.Model(generator_input, x)#將(latent_dim,)->(32,32,3)
generator.summary()

Discriminator

接下來，將開發一個鑒別器模型，將候選圖像（真實的或合成的）作為輸入，並將其分為兩類：“生成的圖像”或“來自訓練集的真實圖像”。
GANs 鑒別器網絡

discriminator_input = layers.Input(shape=(height, width, channels))
x = layers.Conv2D(128, 3)(discriminator_input)
x = layers.LeakyReLU()(x)
x = layers.Conv2D(128, 4, strides=2)(x)
x = layers.LeakyReLU()(x)
x = layers.Conv2D(128, 4, strides=2)(x)
x = layers.LeakyReLU()(x)
x = layers.Conv2D(128, 4, strides=2)(x)
x = layers.LeakyReLU()(x)
x = layers.Flatten()(x)

x = layers.Dropout(0.4)(x)

x = layers.Dense(1, activation='sigmoid')(x)#二分類

discriminator = keras.models.Model(discriminator_input, x)
discriminator.summary()

discriminator_optimizer = keras.optimizers.RMSprop(lr=0.0008,
        clipvalue=1.0,decay=1e-8)
discriminator.compile(optimizer=discriminator_optimizer,
    loss='binary_crossentropy')

對抗網絡

最後，設置GAN，它鏈接生成器和鑒別器。經過訓練，該模型將使生成器向一個方向移動，從而提高其欺騙鑒別器的能力。這個模型將潛在空間點轉換為分類決策（“假”或“真實”） 並且它意味著使用始終“這些是真實圖像”的標簽進行訓練。因此，訓練gan將更新生成器的權重。在查看假圖像時，使鑒別器更有可能預測“真實”的方式。非常重要的是要註意在訓練期間將鑒別器設置為凍結（不可訓練）：訓練gan時不會更新其權重。如果在此過程中可以更新鑒別器權重，那麽將訓練鑒別器始終預測“真實”，這不是我們想要的！
對抗網絡

discriminator.trainable = False

gan_input = keras.Input(shape=(latent_dim,))
gan_output = discriminator(generator(gan_input))
gan = keras.models.Model(gan_input,gan_output)

gan_optimizer = keras.optimizers.RMSprop(lr=0.0004,clipvalue=1.0,
        decay=1e-8)
gan.compile(optimizer=gan_optimizer,loss='binary_crossentropy')

訓練DCGAN

現在可以開始訓練了。總結一下，這就是訓練循環的流程。對於每個epoch，執行以下操作：

1. 在潛在空間中繪制隨機點（隨機噪聲）；
2. 在生成器中使用隨機噪聲生成圖像；
3. 將生成的圖像與實際圖像混合；
4. 使用這些混合圖像訓練鑒別器，並使用相應的目標：要麽“真實”(對於真實圖像)要麽“假”(對於生成的圖像)；
5. 在潛在空間中繪制新的隨機點；
6. 使用這些隨機向量訓練gan，目標都是“這些都是真實的圖像。”這會更新生成器的權重（僅因為鑒別器在gan內被凍結）以使它們朝向讓鑒別器預測“這些是真實的圖像“用於生成的圖像：這會訓練發生器欺騙鑒別器。

GAN訓練

import os
from keras.preprocessing import image

(x_train, y_train), (_, _) = keras.datasets.cifar10.load_data()
x_train = x_train[y_train.flatten() == 6]#第6類

x_train = x_train.reshape((x_train.shape[0],)+(height, width,               channels)).astype('float32') / 255.

iterations = 10000
batch_size = 20
save_dir = 'your_dir'#保存生成圖片

start = 0
for step in range(iterations):
    random_latent_vectors = np.random.normal(size=(batch_size,
        latent_dim))#正態分布隨機取點
    
    generated_images = generator.predict(random_latent_vectors)#fake圖
    
    stop = start + batch_size
    real_images = x_train[start: stop]
    #混合真、假圖片
    combined_images = np.concatenate([generated_images, real_images])
    #標簽
    labels = np.concatenate([np.ones((batch_size, 1)),
        np.zeros((batch_size, 1))])
    labels += 0.05 * np.random.random(labels.shape)#加隨機噪聲
    
    d_loss = discriminator.train_on_batch(combined_images, labels)
    
    random_latent_vectors = np.random.normal(size=(batch_size,
        latent_dim))
    isleading_targets = np.zeros((batch_size, 1))
    #gan訓練：訓練generator，固定discriminator
    a_loss = gan.train_on_batch(random_latent_vectors,
        misleading_targets)
    
    start += batch_size
    if start > len(x_train) - batch_size:
        start = 0

    if step % 100 == 0:#每100步保存一次
        gan.save_weights('gan.h5')

        print('discriminator loss:', d_loss)
        print('adversarial loss:', a_loss)

        img = image.array_to_img(generated_images[0] * 255., scale=False)
        img.save(os.path.join(save_dir,'generated_frog'            +str(step)+'.png'))
        
        img = image.array_to_img(real_images[0] * 255., scale=False)
        img.save(os.path.join(save_dir,'real_frog' + str(step) + '.png'))

訓練時，可能會看到對抗性損失開始顯著增加，而判別性損失往往為零 - 鑒別者最終可能主導生成器。如果是這種情況，嘗試降低鑒別器學習速率，並提高鑒別器的丟失率dropout。

小結

• GAN由與鑒別器網絡和生成器網絡組成。訓練鑒別器以在生成器的輸出和來自訓練數據集的真實圖像之間進行區分，並且訓練生成器以欺騙鑒別器。值得註意的是，生成器組不能直接從訓練集中看到圖像;它對數據的信息來自鑒別器。
• GAN難以訓練，因為訓練GAN是一個動態過程，而不是具有固定損失的簡單梯度下降過程。GAN正確訓練需要使用一些啟發式技巧，以及大量的參數調整。
• GAN可以產生高度逼真的圖像。但是與VAE不同，他們學到的潛在空間沒有整齊的連續結構，因此可能不適合某些實際應用，例如通過潛在空間概念向量進行圖像編輯。

[Deep-Learning-with-Python]GAN圖片生成