本文參考吳恩達機器學習課程第2章

線性迴歸公式:

$f(x)=\theta_0 + \theta_1x$ 代價公式(誤差均值中的2用來抵消求導得來的2): $J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^m(f_{\theta}(x)^i - y^i)^2$

目標：代價最小化

這裡演示單變數線性迴歸時: 令$\theta_0=0$, $f(x)=\theta_1x$ 可對$J$

實際上，由於代價函式經常含有2個及以上引數，目前函式處於三維空間x, y, z分別為$\theta_0,\theta_1,J(\theta_0,\theta_1)$

梯度下降法

演算法特點:從不同的起始值開始，獲得的區域性最優解是不一樣 為了方便，設 $\theta_0=0,\theta_1=0$ $\alpha$為學習率(不變)，$\frac{d}{d\theta_i}J(\theta_i)$為偏導數，引數更新公式: ${\theta }_{}$

具體展開: $\theta_0:=\theta_0-\alpha\frac{d}{d\theta_0}J(\theta_0,\theta_1)=\theta_0-\frac{1}{m}\sum_{i=1}^m(\theta_0 + \theta_1x^i-y^i)$ $\theta_1:=\theta_1-\alpha\frac{d}{d\theta_1}J(\theta_0,\theta_1)=\theta_0-\frac{1}{m}\sum_{i=1}^m(\theta_0 + \theta_1x^i-y^i)*x^i$

1. 導數項: 達到區域性最優解時(圖中某一處區域性最低點時)，此時導數項為0，$\theta_i:= \theta_i - \alpha*0$，引數不再更新,且隨著$J(\theta)$接近最低點，導數項也會越來越小，所以暫時學習率可不變。
2. 梯度下降可以用於更新任何可微(因為需要求導)的代價函式J,目前使用的梯度下降用到了$\sum_{i=1}{m}$，意味著每下降一次遍歷一整個資料集，也稱batch梯度下降演算法。