機器學習：正規方程(Normal Equation)的推導

在coursera上看了Andrew Ng的《Machine Learning》課程，裡面講到了正規方程(Normal Equation)，現在在此記錄一下推導過程。
假設函式(Hypothesis Function)為：

h_{θ} (x) = θ_{0} + θ_{1} x_{1} + θ_{2} x_{2} + \dots + θ_{n} x_{n}

$h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n$
此處我們可以令 $x_0=1$ .
代價函式(Cost Function):

J (θ) = J (θ_{0}, \dots, θ_{n}) = \frac{1}{2 m} \sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)})^{2}

$J(\theta)=J(\theta_0,\ldots,\theta_n)=\frac {1} {2m} \sum_{i=1}^{m} {(h_\theta(x^{(i)})-y^{(i)})^2}$
我們想要代價函式的最小解，對代價函式進行求導。因為對於向量我們有

z^{T} z = \sum_{i} z_{i}^{2}

$z^Tz=\sum_{i} z_i^2$ ,所以：

J (θ) = \frac{1}{2 m} (X θ - y)^{T} (X θ - y)

$J(\theta)=\frac {1}{2m}(X\theta-y)^T(X\theta-y)$
因為 $\frac {1} {2m}$ 部分對最終的解沒影響，為了便於書寫和計算，我們可以先將這部分捨去。對方程的轉置進行化簡：

J (θ) = (θ^{T} X^{T} - y^{T}) (X θ - y)

$J(\theta)=(\theta^TX^T-y^T)(X\theta-y)$

J (θ) = θ^{T} X^{T} X θ - (X θ)^{T} y - y^{T} X θ + y^{T} y

$J(\theta)=\theta^TX^TX\theta-(X\theta)^Ty-y^TX\theta+y^Ty$
因為 $x\theta和y$ 都是向量，所以這兩者相乘先後順序沒有關係，所以可以化簡成：

J (θ) = θ^{T} X^{T} X θ - 2 (X θ)^{T} y + y^{T} y

$J(\theta)=\theta^TX^TX\theta-2(X\theta)^Ty+y^Ty$
接著方程

J (θ) 对 θ

$J(\theta)對\theta$ 進行求導:

\frac{\partial}{\partial θ} J (θ) = 2 X^{T} X θ - 2 X^{T} y = 0

$\frac {\partial}{\partial\theta}J(\theta)=2X^TX\theta-2X^Ty=0$ 1
$\frac {\partial}{\partial\theta}J(\theta)=0時，得到最合適\theta$

X^{T} X θ = X^{T} y

$X^TX\theta=X^Ty$
兩邊同時乘以 $X^TX$ 的逆矩陣，得：

θ = (X^{T} X)^{- 1} X^{T} y

$\theta=(X^TX)^{-1}X^Ty$
此即為正規方程。當

θ = (X^{T} X)^{- 1} X^{T} y