本文始發於個人公眾號：TechFlow，原創不易，求個關注

今天這篇文章和大家聊聊機器學習領域的熵。

我在看paper的時候發現對於交叉熵的理解又有些遺忘，複習了一下之後，又有了一些新的認識。故寫下本文和大家分享。

熵這個概念應用非常廣泛，我個人認為比較經典的一個應用是在熱力學當中，反應一個系統的混亂程度。根據熱力學第二定律，一個孤立系統的熵不會減少。比如一盒乒乓球，如果把盒子掀翻了，乒乓球散出來，它的熵增加了。如果要將熵減小，那麼必須要對這個系統做功，也就是說需要有外力來將散落的乒乓球放回盒子裡，否則乒乓球的分佈只會越來越散亂。

開創了資訊理論的夏農大佬靈光一閃，既然自然界微觀巨集觀的問題都有熵，那麼資訊應該也有。於是他開創性地將熵這個概念引入資訊理論領域，和熱力學的概念類似，資訊理論當中的熵指的是資訊量的混亂程度，也可以理解成資訊量的大小。

資訊量

舉個簡單的例子，以下兩個句子，哪一個句子的資訊量更大呢？

1. 我今天沒中彩票
2. 我今天中彩票了

從文字上來看，這兩句話的字數一致，描述的事件也基本一致，但是顯然第二句話的資訊量要比第一句大得多，原因也很簡單，因為中彩票的概率要比不中彩票低得多。

相信大家也都明白了，一個資訊傳遞的事件發生的概率越低，它的資訊量越大。我們用對數函式來量化一個事件的資訊量：

\[I(X)=-log(P(X))\]

因為一個事件發生的概率取值範圍在0到1之間，所以log(p(X))的範圍是負無窮到0，我們加一個負號將它變成正值。畫成函式大概是下面這個樣子：

資訊熵

我們上面的公式定義的是資訊量，但是這裡有一個問題，我們定義的只是事件X的一種結果的資訊量。對於一個事件來說，它可能的結果可能不止一種。我們希望定義整個事件的資訊量，其實也很好辦，我們算下整個事件資訊量的期望即可，這個期望就是資訊熵。

期望的公式我們應該都還記得：

\[E(X)=\sum P(X)X\]

我們套入資訊量的公式可以得到資訊熵H(x)：

\[H(X)=-\sum_{i=1}^nP(x_i)log(P(x_i))\]

相對熵（KL散度）

在我們介紹相對熵之前，我們先試著思考一個問題，我們為什麼需要相對熵這麼一個概念呢？

原因很簡單，因為我們希望測量我們訓練出來的模型和實際資料的差別，相對熵的目的就是為了評估和驗證模型學習的效果。也就是說相對熵是用來衡量兩個概率分佈的差值的，我們用這個差值來衡量模型預測結果與真實資料的差距。明白了這點之後，我們來看相對熵的定義：

\[D_{KL}(P||Q)= \sum_{i=1}^nP(x_i)log(\frac{P(x_i)}{Q(x_i)})\]

如果把\(\sum_{i=1}^nx_i\)看成是一個事件的所有結果，那\(x_i\)可以理解成一個事件的一個結果。那麼所有的\(P(x_i)\)和\(Q(x_i)\)就可以看成是兩個關於事件X的概率分佈。\(P(x_i)\)樣本真實的分佈，我們可以求到。而\(Q(x_i)\)是我們模型產出的分佈。KL散度越小，表示這兩個分佈越接近，說明模型的效果越好。

光看上面的KL散度公式可能會雲裡霧裡，不明白為什麼能反應P和Q兩個分佈的相似度。因為這個公式少了兩個限制條件：

\[\sum_{i=1}^nP(x_i)=1, \quad \sum_{i=1}^nQ(x_i)=1\]

對於單個\(P(x_i)\)來說，當然\(Q(x_i)\)越大\(P(x_i)log(\frac{P(x_i)}{Q(x_i)})\)越小。但由於所有的\(Q(x_i)\)的和是1，當前的i取的值大了，其他的i取的值就要小。

我們先來直觀地感受一下，再來證明。

我們假設\(x_i\)只有0和1兩個取值，也就是一個事件只有發生或者不發生。我們再假設\(P(x=0)=P(x=1)=0.5\)，我們畫一下\(P(x_i)log(\frac{P(x_i)}{Q(x_i)})\)的影象：

和我們預料的一樣，函式隨著\(Q(x_i)\)的遞增而遞減。但是這只是一個x的取值，別忘了，我們相對熵計算的是整個分佈，那我們加上另一個x的取值會發生什麼呢？

從函式影象上，我們很容易看出，當Q(x)=0.5的時候，KL散度取最小值，最小值為0。我們對上面的公式做一個變形：

\[D_{KL}(P||Q)= \sum_{i=1}^nP(x_i)log(\frac{P(x_i)}{Q(x_i)})=\sum_{i=1}^nP(x_i)log(P(x_i)) - \sum_{i=1}^nP(x_i)log(Q(x_i))\]

這個式子左邊\(\sum_{i=1}^nP(x_i)log(P(x_i))\)其實就是\(-H(X)\)，對於一個確定的事件X來說，它的資訊熵是確定的，也就是說\(H(X)\)是一個常數，\(P(x_i)\)也是常數。log函式是一個凹函式，-log是凸函式。我們把\(P(x_i)\)當成常數的話，可以看出\(- \sum_{i=1}^nP(x_i)log(Q(x_i))\)是一個凸函式。

凸函式有一個jensen不等式：\(f(E(X)) \ge E(f(X)\)，也即：變數期望的函式值大於變數函式值的期望，有點繞口令，看不明白沒關係，可以通過下圖直觀感受：

我們利用這個不等式試著證明：\(D_{KL}\ge 0\)

首先，我們對原式進行變形：

\[D_{KL}=\sum_{i=1}^nP(x_i)log(\frac{P(x_i)}{Q(x_i)})=E(log(\frac{P(x_i)}{Q(x_i)}))=E[-log(\frac{Q(x_i)}{P(x_i)})]\]

然後我們利用不等式：

\[E[-log(\frac{Q(x_i)}{P(x_i)})]\ge -log(E[\frac{Q(x_i)}{P(x_i)}])=-log(\sum_{i=1}^nP(x_i)\frac{Q(x_i)}{P(x_i)})=-log(\sum_{i=1}^nQ(x_i))=0\]

所以KL散度是一個非負值，但是為什麼當P和Q相等時，能取到最小值呢？我們單獨拿出右邊\(-\sum_{i=1}^nP(x_i)log(Q(x_i))\)，我們令\(C(P, Q)=-\sum_{i=1}^nP(x_i)log(Q(x_i))\)。

我們探索\(C(P, P) - C(P, Q)\)的正負性來判斷P和Q的關係。

\[ \begin{aligned} C(P, P) - C(P, Q) &= \sum_{i=1}^nP(x_i)log(Q(x_i))-\sum_{i=1}^nP(x_i)log(P(x_i))\\ &=\sum_{i=1}^nP(x_i)log(\frac{Q(x_i)}{P(x_i)}) \end{aligned} \]

因為log(x)是凸函式，所以我們利用jensen不等式，可以得到：

\[ a_1log(x_1)+a_2log(x_2)+\cdots+a_nlog(x_n)\leq log(a_1x_1+a_2x_2+\cdots+a_nx_n),\quad (\sum_{i=1}^n a_i=1) \]

我們帶入\(\sum_{i=1}^nP(x_i)log(\frac{Q(x_i)}{P(x_i)}\)

\[ \begin{aligned} P(x_1)log(\frac{Q(x_1)}{P(x_1)})+P(x_2)log(\frac{Q(x_2)}{P(x_2)})+\cdots+P(x_n)log(\frac{Q(x_n)}{P(x_n)}) &\leq log(P(x_1)\frac{Q(x_1)}{P(x_1)} + P(x_2)\frac{Q(x_2)}{P(x_2)} + \cdots + P(x_n)\frac{Q(x_n)}{P(x_n)} \\ \sum_{i=1}^nP(x_i)log(\frac{Q(x_i)}{P(x_i)} &\leq log(Q(x_1) + Q(x_2) + \cdots + Q(x_n)) = 0 \end{aligned} \]

所以\(C(P, P) - C(P, Q) \leq 0\)， 即\(C(P, P) \leq C(P, Q)\)，當且僅當 P=Q時等號成立。

交叉熵

通過上面一系列證明，我們可以確定，KL散度可以反映兩個概率分佈的距離情況。由於P是樣本已知的分佈，所以我們可以用KL散度反映Q這個模型產出的結果與P的距離。距離越近，往往說明模型的擬合效果越好，能力越強。

我們把上面定義的C(P, Q)帶入KL散度的定義，會發現：

\[D_{KL}(P||Q)= \sum_{i=1}^nP(x_i)log(\frac{P(x_i)}{Q(x_i)})=\sum_{i=1}^nP(x_i)log(P(x_i)) + C(P, Q)\]

對於一個確定的樣本集來說，\(P(x_i)\)是定值，所以我們可以拋開左邊\(\sum_{i=1}^nP(x_i)log(P(x_i))\)不用管它，單純來看右邊。右邊我們剛剛定義的C(P, Q)其實就是交叉熵。

說白了，交叉熵就是KL散度去除掉了一個固定的定值的結果。KL散度能夠反映P和Q分佈的相似程度，同樣交叉熵也可以，而且交叉熵的計算相比KL散度來說要更為精簡一些。

如果我們只考慮二分類的場景，那麼\(C(P, Q) = -P(x=0)log(Q(x=0)) - P(x=1)log(Q(x=1))\)

由於\(P(x=0)\)結果已知，並且：\(P(x=0) + P(x=1)=1, Q(x=0) + Q(x=1)=1\)。我們令\(P(x=0) = y, Q(x=0)=\hat{y}\)

所以上式可以變形為：

\[C(P, Q) = -(ylog(\hat{y}) + (1 - y)log(1 - \hat{y}))\]

這個式子就是我們在機器學習書上最常見到的二分類問題的交叉熵的公式在資訊理論上的解釋，我們經常使用，但是很少會有資料會將整個來龍去脈完整的推導一遍。對於我們演算法學習者而言，我個人覺得只有將其中的細節深挖一遍，才能真正獲得提升，才能做到知其然，並且知其所以然。理解了這些，我們在面試的時候才能真正做到遊刃有餘。

當然，到這裡其實還沒有結束。仍然存在一個問題，可以反映模型與真實分佈距離的公式很多，為什麼我們訓練模型的時候單單選擇了交叉熵呢，其他的公式不行嗎？為什麼呢？

分析

我們來實際看個例子就明白了，假設我們對模型：\(\hat{y} = \sigma(\theta X)\)選擇MSE（均方差）作為損失函式。假設對於某個樣本x=2，y=0，\(\theta_0=2, \theta_1 = 1\)那麼\(\theta X=4\)，此時\(\sigma(\theta X)=0.98\)。

此時\(\displaystyle MSE=\frac{(\sigma(\theta X)-y)^2}{2}\)。

我們對它求關於\(\theta\)的偏導：

\[ \begin{aligned} MSE' &= (\sigma(\theta X)-y)\cdot \sigma'(\theta X)\cdot X\\ &=0.98 * 2 * \sigma(\theta X)\cdot (1-\sigma(\theta X)) \\ &\approx 2 * 0.98 * 0.02 \\ &\approx 0.04 \end{aligned} \]

所以如果我們通過梯度下降來學習的話，\(\theta_{next} = \theta - 0.04 * \eta \cdot \theta\)。

這個式子看起來很正常，但是隱藏了一個問題，就是我們這樣計算出來的梯度實在是太小了。通過梯度下降去訓練模型需要消耗大量的時間才能收斂。

如果我們將損失函式換成交叉熵呢？

我們回顧一下交叉熵求梯度之後的公式：

\[\frac{\partial}{\partial\theta}J(\theta) = -(\hat{Y} - Y)\cdot X\]

我們帶入上面具體的值，可以算出來如果使用交叉上來訓練，我們算出來的梯度為1.96，要比上面算出來的0.04大了太多了。顯然這樣訓練模型的收斂速度會快很多，這也是為什麼我們訓練分類模型採用交叉熵作為損失函式的原因。

究其原因是因為如果我們使用MSE來訓練模型的話，在求梯度的過程當中免不了對sigmoid函式求導。而正是因為sigmoid的導數值非常小，才導致了我們梯度下降的速度如此緩慢。那麼為什麼sigmoid函式的導數這麼小呢？我們來看下它的影象就知道了：

觀察一下上面這個影象，可以發現當x的絕對值大於4的時候，也就是影象當中距離原點距離大於4的兩側，函式影象就變得非常平緩。而導數反應函式影象的切線的斜率，顯然這些區域的斜率都非常小，而一開始引數稍微設定不合理，很容易落到這些區間裡。那麼通過梯度下降來迭代自然就會變得非常緩慢。

所以無論是機器學習還是深度學習，我們一般都會少會對sigmoid函式進行梯度下降。在之前邏輯迴歸的文章當中，我們通過極大似然推匯出了交叉熵的公式，今天我們則是利用了資訊理論的知識推導了交叉熵的來龍去脈。兩種思路的出發點和思路不同，但是得到的結果卻是同樣的。關於這點數學之美當中給出瞭解釋，因為資訊理論是更高維度的理論，它反映的其實是資訊領域最本質的法則。就好像物理學當中公式千千萬，都必須要遵守能量守恆、物質守恆一樣。機器學習也好，深度學習也罷，無非是資訊領域的種種應用，自然也逃不脫資訊理論的框架。不知道看到這裡，你有沒有一點豁然開朗和一點震撼的感覺呢？

今天的文章就到這裡，公式比較多，但推導過程並不難，希望大家不要被嚇住，能冷靜看懂。如果覺得有所收穫，請順手掃碼點個關注吧，你們的支援是我最大的動力。

相關推薦