最大似然損失和交叉熵損失函式的聯絡
阿新 • • 發佈:2018-11-05
在利用深度學習模型解決有監督問題時,比如分類、迴歸、去噪等,我們一般的思路如下:
- 資訊流forward propagation,直到輸出端;
- 定義損失函式L(x, y | theta);
- 誤差訊號back propagation。採用數學理論中的“鏈式法則”,求L(x, y | theta)關於引數theta的梯度;
- 利用最優化方法(比如隨機梯度下降法),進行引數更新;
- 重複步驟3、4,直到收斂為止;
(1)均方誤差是一種較早的損失函式定義方法,它衡量的是兩個分佈對應維度的差異性之和。說點題外話,與之非常接近的一種相似性度量標準“餘弦角”,則衡量的是兩個分佈整體的相似性,也即把兩個向量分別作為一個整體,計算出的夾角作為其相似性大小的判斷依據,讀者可以認真體會這兩種相似性判斷標準的差異;
(2)最大似然誤差是從概率的角度,求解出能完美擬合訓練樣例的模型引數theta,使得概率p(y | x, theta)最大化;
(3)最大化後驗概率,即使得概率p(theta | x, y)最大化,實際上也等價於帶正則化項的最大似然概率(詳細的數學推導可以參見Bishop 的Pattern Recognition And Machine Learning),它考慮了先驗資訊,通過對引數值的大小進行約束來防止“過擬合”;
(4)交叉熵損失函式,衡量的是兩個分佈p、q的相似性。在給定集合上兩個分佈p和q的cross entropy定義如下:
- 記帶標籤的樣例為(x, y), 其中x表示輸入特徵向量,y=[y1, y2, ..., yc]表示真實標籤的one-hot表示,y_=[y_1, y_2, ..., y_c]表示模型輸出的分佈,c表示樣例輸出的類別數,那麼,