多元線性迴歸

下面是線性迴歸的公式推導，沒有加上 L2 正則化因子。 假設 $\hat y = Xw$， 因為 $\begin{aligned} L(w) &= ||\hat y - y||_2^2=||Xw-y||_2^2 \\ &= (Xw-y)^T(Xw-y) \\ &= w^TX^TXw - y^TXw - w^TX^Ty-y^Ty, \end{aligned}$

嶺迴歸

• 上面定義的 $L(w) =||\hat y - y||_2^2$
  是經驗風險，在經驗風險的基礎上加上表示模型複雜度的正則化項（regularization）或者懲罰項（penalty term），即結構風險。所以線性迴歸是經驗風險最小化，嶺迴歸是結構風險最小化（參考：李航《統計學習方法》P9關於“經驗風險最小化”與“結構風險最小化”一節的敘述）；
• 嶺迴歸其實就是在損失函式上加上了一個 L2 正則，使得權重不會太大；
• 如果某些特徵權重比較大的時候，自變化變化一點點，就會導致因變數變化很大，使得方差變大，有過擬合風險。

此時損失函式變為：

$\begin{array}{cc}{\displaystyle L\left(w\right)}& {\displaystyle =\mathrm{\mid }\mathrm{\mid }\widehat{y}-y\mathrm{\mid }{\mathrm{\mid }}_2^2+\lambda \mathrm{\mid }\mathrm{\mid }w\mathrm{\mid }{\mathrm{\mid }}_2^2=\mathrm{\mid }\mathrm{\mid }Xw-y\mathrm{\mid }{\mathrm{\mid }}_2^2+\lambda w^{T}w}\\ {\displaystyle =(X}\end{array}$

所以，

$\frac{\partial L(w)}{\partial w}= 2X^TXw-X^Ty-X^Ty + 2 \lambda w,$ 令 $\frac{\partial L(w)}{\partial w}=0$，得 $w=(X^TX + \lambda E)^{-1}X^Ty.$

這裡 $E$ 是一個單位矩陣。

參考資料：