正則化（Regulization）

當出現 $\hat{\theta }=(X^{T}X$

) − 1 X T Y \hat\theta=(X^TX)^{-1}X^TY ，其中 $(X^TX)$是奇異矩陣的時候，怎麼處理？所以引出了正則化的概念。
$X$

= [ 1 x 1 ( 1 ) . . . x n ( 1 ) 1 x 1 ( 2 ) . . . x n ( 2 ) . . . . . . . . . . . . 1 x 1 ( N ) . . . x n ( N ) ] = [ x ( 1 ) T x ( 2 ) T . . . x ( N ) T ] X=\begin{bmatrix} 1&x_1^{(1)}&...&x_n^{(1)}\\ 1&x_1^{(2)}&...&x_n^{(2)}\\ ...&...& ...& ...\\ 1&x_1^{(N)}&...&x_n^{(N)}\\ \end{bmatrix}\quad =\begin{bmatrix} {x^{(1)}}^T\\ {x^{(2)}}^T\\ ...\\ {x^{(N)}}^T\\ \end{bmatrix}\quad
$\theta=\begin{bmatrix} \theta_0\\ \theta_1\\ ...\\ \theta_n\\ \end{bmatrix},Y=\begin{bmatrix} y^{(1)}\\ y^{(2)}\\ ...\\ y^{(N)}\\ \end{bmatrix}$
$X\theta=\hat y,\quad J(\theta)=\frac{1}{2N}||X\theta-Y||_2^2,\quad \frac{\partial J(\theta)}{\partial\theta}=0$
$\theta=(X^TX)^{-1}X^TY$
當出現不可求逆時，出現下面方法：

1.1 嶺迴歸（Ridge Regression）

$J(\theta)=\frac{1}{2N}||X\theta-Y||_2^2+\frac{1}{2}\lambda||\theta||_2^2,\quad||\theta||_2^2=\theta_1^2+\theta_2^2+....+\theta_n^2$

相關推薦