1. 程式人生 > 實用技巧 >深刻理解正則化力度與權重的關係圖Ridge coefficients as a function of the regularization

深刻理解正則化力度與權重的關係圖Ridge coefficients as a function of the regularization

詳見:https://www.cnblogs.com/pinard/p/6023000.html
在這裡插入圖片描述
每種顏色代表係數向量的不同特徵,並且根據正則化引數進行顯示。

  • 問題:
    查閱相關資料,發現網上不少博主說的正則化力度越大,權重係數越小;正則化力度越大,權重係數越小。對於這句話前半句都能理解,後半句呢?我是看的一頭霧水,因為從圖片中可以看出,當正則化力度變小的時候,各個曲線的走勢都不一樣,怎麼能說權重係數越小呢?相信好多小夥伴和我有一樣的困惑。
  • 解答:
    想要理解Ridge coefficients as a function of the regularization這張圖,需要通過Ridge(相當於線性迴歸+L2)迴歸的損失函式表示式理解,α越大,那麼正則項懲罰的就越厲害,得到迴歸係數θ就越小,最終趨近與0。而如果α越小,即正則化項越小,那麼迴歸係數θ就越來越接近於普通的線性迴歸係數(也就是說正則項懲罰係數太小了,和沒懲罰一樣,迴歸係數和懲罰後的迴歸係數幾乎一樣)。