熵的本質是夏農資訊量（log $\frac{1}{p}$），其中p表示資訊確定性的概率。
資訊熵即為信源不確定均值 $H(u$

) = E [ − l o g P i

] = − ∑ i = 1 n p i l o g p i H(u)=E[-logP_i]=-\sum_{i=1}^{n}p_{i}logp_{i}
特點：根據非真實分佈q得到的平均編碼長度H(p,q)大於根據真實分佈得到的平均編碼長度H§，實際上H(p,q)>=H§恆成立
相對熵：由q得到的平均編碼長度比由p得到的平均編碼長度多出來的位就是相對熵 $D(p||q)= H(p,q) - H(p) =\sum_{i}p(i)*log\frac{p(i)}{q(i)}$，又稱為KL散度
GAN產生訓練不穩定的原因：g(z)至多產生的維度為dim(z)，如果 $dim(z)<dim(x)$，則g(z)在x中的測度會非常小，也即它只能產生一個平面中的一條線（個人理解，詳情可參考上一篇文章），所以如果g的輸入維數比產生影象的維數低，那麼它能產生的也只是一個零測集，當 $P_{r}$的支撐集和 $P_{g}$沒有交集時，當D最優時，就會使G的梯度變得非常不穩定。
WGAN訓練，採用SGD或RMSProp演算法較好，一般不採用基於momentum的演算法（如Adam），會導致訓練變得不穩定，DCGAN採用Adam效果會比較好