多分類器softmax——絕對簡單易懂的梯度推導
損失函式的計算
首先說明本文解決的是softmax的多分類器的梯度求導，以下先給出損失函式的計算方式：
這裡將最終的loss分為4步進行計算，如下所示，當然，這裡不解釋為什麼是這樣的計算方式。
注意到，本文並不限制訓練樣本的數量，訓練樣本的特徵數，以及最後分為幾類。
也就是將所有樣本的損失求平均數。
注意：以上下標是獨立系統，與下面的推導過程沒有必然關係，這裡特別指ij，其他字母的含義基本相同。
基本求導法則
所謂梯度，就是求損失函式對引數w的導數，將其用在更新引數w上，達到優化的目的。
我們知道，梯度計算遵循著鏈式法則，而基本求導公式也是需要的，防止有人忘記，我先給出這裡將會用到的基本求導公式。知道的請跳過這一節，直接看下一節。
以下開始正式求梯度
計算整個損失函式對w（下標為ij）的導數。
根據鏈式法則，考慮到總損失為每個樣本損失的平均數，且每個樣本的損失都與wij相關，這個說明很有必要，假如某個損失與wij無關，我們就不用對它進行求導了。
有公式（5）
繼續對第二項展開有公式（9）：
這裡還是細細說一下，這個過程，始終記住一點，那就是中間變數與wij是什麼關係，可以根據公式看出來。根據公式（1），當且僅當s的下標中是ij時才會與wij有關，而對sij對wij求導時得到的就是xii，(兩個i不一樣的含義)只需要把公式（1）中的x和w的下標中的點號換成i即可。也就是說，s對w求導時，x的第一個下標是s的第一個下標，x的第二個下標是w的第一個下標。當然，這裡我們需要再將s的下標i換成n，這樣才能滿足以上的推導。
我們將公式（9）根據公式（2）化簡一下，再帶入公式（6），可以得到公式（10），也就是情況一下的最終一個樣本的梯度：
其中，用了一個簡寫，也就是求和的項簡寫了，請留意。
寫成pnj是因為我們計算過程中會產生這個數，而且這樣寫起來也更整齊。
情況二，公式（2）中的分子是wij的函式：
注意到這裡，公式（2）中pny的下標y和wij的下標j是相等的，也就是y=j。
情況2比情況1複雜在公式（2）的分母上，其餘相同，因此，對其求導過程如下：
這裡先使用ynj(nj是下標)表示樣本為n時第j個分類的真實值，要麼是0，要麼是1，1表示真實分類就是這個j.
情況一根據（1\u)'求導，情況二則根據（v/u)'來求導，因此有一點差別。
以下一步一步的寫：
根據公式（2）將後面展開可得：
化簡一下可以得到：
根據公式（2）繼續化簡：
對上式去括號操作：
繼續求導並且根據公式2化簡得公式（11）
可以看出，這與上面的情況一相差在最後一項上，而前面一項是相等的。
接下來我們一起探討一下怎麼求後面的一項，畢竟這還無法完全理解清楚，因為這還是一個導數，也不是輸入或者中間求到的某個數。
前面我們已經說到，情況二下公式（2）中的y和wij的j是相等的。
這時候計算知道：
所以公式（11）進一步計算可得最終的求導公式：公式（12）
綜合兩個情況
情況二比情況一多減去一項。 一般情況下，我們直接使用pnj * xni即可。 而當wij中j是當前樣本n的正確分類時要多減去xni。
以上既是多分類器softmax的梯度求導公式。
後話
其實個人感覺梯度的計算還是挺難的，而且本文只是推導公式，還沒有真正的程式設計計算。 實際上，我們通常為了保證我們的程式正確，會寫一個數值求導，正確情況下兩者不會相差很多。 本文的理論推導，將會在下一篇部落格中寫明如何進行計算。