均方誤差究竟是怎麽來的?
當我們遇到一個線性回歸問題時，為什麽使用最小平方和作為損失函數？
本文中，我們將從概率的角度來解釋，線性回歸和最小平方和的關系。
不妨假設目標值\(y^{{(}i{)}}\)與輸入值\(x^{{(}i{)}}\)關系為
\[y^{(i)}=\theta^{(T)}x^{(i)}+\epsilon^{(i)}\]
其中\(\epsilon^{(i)}\)用於表示一些隨機噪聲或者相關的影響，並且我們假設\(\epsilon^{(i)}\)是獨立同分布的，符合均值為0，方差為\(\sigma^2\)的高斯分布。
也就是說, \(\epsilon^{(i)}\) ~ \(N(0, \sigma^2)\)
\(\epsilon^{(i)}\)
根據我們建立的目標與輸入值的關系，可以代入上述公式，即
\[p(y^{(i)}|x^{(i)};\theta)=\frac{1}{\sqrt{2{\pi}}\sigma}exp{\Bigg(}{-\frac{{{(}y^{(i)}-\theta^Tx^{(i)}{)}}^2}{2\sigma^2}}{\Bigg)}\]
其中，\(p(y^{(i)}|x^{(i)};\theta)\)
如果我們將輸入矩陣\(X\)定義為
\[
\left[
\begin{matrix}
\underline{\quad}x^{(1)T} \underline{\quad}\\underline{\quad}x^{(2)T} \underline{\quad}\\underline{\quad}x^{(3)T} \underline{\quad}\\vdots\\underline{\quad}x^{(m)T} \underline{\quad}\\end{matrix}
\right]
\]
目標向量\(\vec{y}\)定義為
\[ \left[ \begin{matrix} y^{(1)}\y^{(2)}\y^{(3)}\\vdots\y^{(m)}\\end{matrix} \right] \]
那麽在給定\(X\)和參數\(\theta\)時，\(\vec{y}\)的分布可以用\(p{(}\vec{y}|X{)};\theta\)來衡量
當我們將上式看成是\(\theta\)的函數時，該式即為似然函數
\[
L{(}\theta{)}=L{(}\theta;X|\vec{y}{)}=p{(}\vec{y}|X{)};\theta
\]
根據我們之前\(\epsilon^{(i)}\)相互獨立的假設，上式可以寫成
\[
\begin{eqnarray}
L{(}\theta{)}&=&\prod_{i=1}^mp(y^{(i)}|x^{(i)};\theta{)}\&=&\prod_{i=1}^m\frac{1}{\sqrt{2{\pi}}\sigma}exp{\Bigg(}{-\frac{{{(}y^{(i)}-\theta^Tx^{(i)}{)}}^2}{2\sigma^2}}{\Bigg)}
\end{eqnarray}
\]
根據極大似然估計法，我們應該選擇使得\(L{(}\theta{)}\)最大的\(\theta\)，我們同樣可以選擇最大化\(L{(}\theta{)}\)的一個嚴格遞增函數，比如我們可以最大化對數似然函數（方便計算），於是乎
\[
\begin{eqnarray}
logL{(}\theta{)}&=&log\prod_{i=1}^m\frac{1}{\sqrt{2{\pi}}\sigma}exp{\Bigg(}{-\frac{{{(}y^{(i)}-\theta^Tx^{(i)}{)}}^2}{2\sigma^2}}{\Bigg)}\&=&\sum_{i=1}^mlog\frac{1}{\sqrt{2{\pi}}\sigma}exp{\Bigg(}{-\frac{{{(}y^{(i)}-\theta^Tx^{(i)}{)}}^2}{2\sigma^2}}{\Bigg)}\&=&mlog\frac{1}{\sqrt{2{\pi}}\sigma}-\frac{1}{\sigma^{2}}\cdot\frac{1}{2}\sum_{i=1}^m{{{(}y^{(i)}-\theta^Tx^{(i)}{)}}^2}
\end{eqnarray}
\]
因此，最大化上式等價於最小化
\[
\frac{1}{2}\sum_{i=1}^m{{{(}y^{(i)}-\theta^Tx^{(i)}{)}}^2}
\]
也就是我們的最小平方和損失函數。
均方誤差究竟是怎麽來的?