深度學習-->Improved GAN-->WGAN

上兩篇博文介紹和總結了GenerativeAdversarialNetwork 的原始版本以及改進後的版本f−GAN，本篇博文將詳細總結WGAN

在originalGAN 中，我們採用Jensen−Shannondivergence 來衡量兩種分佈之間的擬合程度，在f−GAN 中我們可以採用anyf−divergence 來衡量不同分佈之間的擬合程度，那麼在WGAN中呢？

WGAN中採取一種叫做EarthMover′sDistance 方式來衡量兩種分佈的擬合程度。

簡單來說，假設有兩種不同的分佈分別為P、Q，將P移動Q的位置與Q重合所移動的最小平均距離

即為EarthMover′sDistance。如下圖：

這裡寫圖片描述

顯然對於不同的移動方式(moveplan)，其移動距離是不一樣的，例如下圖：

這裡寫圖片描述

那麼存在多種moveplans 的情況下，如何定義上面的平均距離averagemoveplan 呢？

對於所有可能的movingplans，也即是 allpossiblemoveplansΠ，γ表示某一種moveplan，xp、xq 分佈表示P、Q分佈中某一個區間的概率。那麼對於planγ 的平均移動距離即為：

B(γ)=∑xp,xqγ(xp,xq)∥∥xp−xq∥∥
其中γ(xp,xq)表示移動的量。

那麼EarthMover′sDist

ance 即為：

W(P,Q)=minγ∈ΠB(γ)

那麼使用EarthMover′sDistance 有什麼好處呢？

這裡寫圖片描述

顯然相對於使用Jensen−Shannondivergence ，EarthMover′sDistance 能檢測到兩種分佈擬合程度，即使是在沒有重合的情況下，那麼在usegradientdescentminmizeEarthMover′sDistance 時就有動力更新G。

論文：