線性迴歸模型

1. 問題描述

假設有m個樣本，n維特徵。樣本集記為 $\left\{ {(x_1^{(0)},x_2^{(0)},...x_n^{(0)},{y_0}),(x_1^{(1)},x_2^{(1)},...x_n^{(1)},{y_1}),...(x_1^{(m)},x_2^{(m)},...x_n^{(m)},{y_n})} \right\}$

1)​,y1​),...(x1(m)​,x2(m)​,...xn(m)​,yn​)}

問題：對於一個新的樣本$(x_1^{(k)},x_2^{(k)},...x_n^{(k)})$，它對應的${y_k}$是多少呢？

若y是連續值-迴歸問題-線性迴歸模型，y是離散值-分類問題-邏輯迴歸模型。 樣本特徵是1維時-簡單線性迴歸；樣本特徵是多維時-多元線性迴歸 → 線性表示的是直線/平面/…

2. 模型描述

待估計的模型為 ${h_\theta }({x_1},{x_2},...{x_n}) = {\theta _0} + {\theta _1}{x_1} + ... + {\theta _n}{x_n}$

此處，${\theta _i}$為模型引數，${x_i}$為每個樣本的特徵值。為簡化問題，引入特徵${x_0} = 1$，則

${h_\theta }(x_1, x_2,...x_n) = \sum\limits_{i = 0}^n {{\theta _i}} {x_i}$ 矩陣形式 ${h_{\bf{\theta }}}({\bf{X}}) = {\bf{X\theta }}$

其中 $\begin{bmatrix} x_1^{\left( 0 \right)} & x_2^{\left( 0 \right)} & ... & x_n^{\left( 0 \right)} \\ x_1^{\left( 1 \right)} & x_2^{\left( 1 \right)} & ... & x_n^{\left( 1 \right)} \\ ... & ... & ... & ... \\ x_1^{\left( m \right)} & x_2^{\left( m \right)} & ... & x_n^{\left( m \right)} \end{bmatrix} \tag{4}$ $\theta = {({\theta _0},{\theta _1},...,{\theta _n})^T}$

3. 模型求解

損失函式 - 均方誤差（Q1. 為什麼選均方誤差？） $J({\theta _0},{\theta _1}...,{\theta _n}) = \sum\limits_{i = 0}^m {({h_\theta }(} {x_0},{x_1},...{x_n}) - {y_i}{)^2}$ 矩陣形式 $J({\bf{\theta }}) = {1 \over 2}{({\bf{X\theta }} - {\bf{Y}})^T}({\bf{X\theta }} - {\bf{Y}})$ 模型求解 - 如何求得引數$\theta$的值？

最小二乘法對應有兩種：線性和非線性。線性最小二乘的解是closed-form (見3.1)，而非線性最小二乘沒有closed-form，通常用迭代法求解 (見3.2)。

正規方程法通常用來求解線性最小二乘問題。梯度下降法是迭代法的一種，可以用於求解最小二乘問題（線性和非線性都可以）。高斯-牛頓法是另一種經常用於求解非線性最小二乘的迭代法）。

顯然線性迴歸的擬合函式是線性的，所以可以用兩種方法求解：正規方程法，迭代法。

3.1 正規方程法 - 線性最小二乘

求解過程

損失函式為 $J({\bf{\theta }}) = {1 \over 2}{({\bf{X\theta }} - {\bf{Y}})^T}({\bf{X\theta }} - {\bf{Y}})$ 根據最小二乘法的原理，損失函式對θ向量求導取0。結果如下式： ${\partial \over {\partial {\bf{\theta }}}}J({\bf{\theta }}) = {{\bf{X}}^T}({\bf{X\theta }} - {\bf{Y}}) = 0$ 此處用到以下兩個矩陣求導公式：

${\partial \over {\partial X}}\left( {AX} \right) = {A^T}$

相關推薦