這次接著一元線性迴歸繼續介紹多元線性迴歸，同樣還是參靠周志華老師的《機器學習》，把其中我一開始學習時花了較大精力弄通的推導環節詳細敘述一下。

本文用到的部分關於向量求導的知識可以參看博文標量、向量、矩陣求導

資料集D={(x1,y1),(x2,y2)⋯(xm,ym)}$D=\{({\mathit{x}}_1,y_1),({\mathit{x}}_2,y_2)\cdots ({\mathit{x}}_m,y_m)\}$，其中 xi=[x(1)i,x(2)i⋯x(d)i]T${\mathit{x}}_i=[x_i^{(1)},x_i^{(2)}\cdots x_i^{(d)}{]}^T$ 表示一條樣本資料有 d$d$ 個屬性，我們的目標是尋找 d$d$ 維列向量 w$\mathit{w}$ 和常數 b$b$，使得模型

f(xi)=wTxi+b(1)$$\begin{array}{}\text{(1)}& f({\mathit{x}}_i)={\mathit{w}}^T{\mathit{x}}_i+b\end{array}$$所得的預測值與真實值

yi$y_i$ 儘可能接近。

我們可以採用一些小策略把式(2)統一用矩陣和向量表示，把常數 b$b$ 放入權值向量 w$\mathit{w}$ 得到一個 (d+1)$(d+1)$ 維的權值向量 w^=(w;b)$\hat{\mathit{w}}=(\mathit{w};b)$，同時在每個樣本例項中新增第 (d+1)$(d+1)$ 個屬性，置為 1$1$，xi^=(xi;1)$\widehat{{\mathit{x}}_{\mathit{i}}}=({\mathit{x}}_i;1)$。將樣本所有屬性排列為矩陣可以得到：

X=⎡⎣⎢⎢⎢⎢x1^x2^⋮xm^⎤⎦⎥⎥⎥⎥$$\mathit{X}=\left[\begin{array}{c}\widehat{{\mathit{x}}_{\mathbf{1}}}\\ \widehat{{\mathit{x}}_{\mathbf{2}}}\\ ⋮\\ \widehat{{\mathit{x}}_{\mathit{m}}}\end{array}\right]$$
令 y=(y1,y2⋯ym)T$\mathit{y}=(y_1,y_2\cdots y_m{)}^T$ ，同一元線性迴歸中最小化預測值與真實值誤差平方和一樣，在多元迴歸中我們要最小化
||y−Xw^||2$$||\mathit{y}-\mathit{X}\hat{\mathit{w}}$$

||2
即
w∗=argw^min(y−Xw^)T(y−Xw^)$${\mathit{w}}^{\ast }={\arg }_{\hat{\mathit{w}}}min(\mathit{y}-\mathit{X}\hat{\mathit{w}}{)}^T(\mathit{y}-\mathit{X}\hat{\mathit{w}})$$
此處將最小化的目標函式視為 w^$\hat{\mathit{w}}$ 的“單變數”函式，令