CS229機器學習個人筆記(2)——Linear Regression with Multiple Variables
阿新 • • 發佈:2019-01-12
1.Multiple Features
目前,我們只討論了單特徵的迴歸模型,現在來增加一些特徵。
增添更多特徵後,我們引入一系列新的註釋:
比方說,上圖的
支援多變數的假設 h 表示為:
這個公式中有 n+1 個引數和 n 個變數,為了使得公式能夠簡化一些,引入
此時模型中的引數是一個 n+1 維的向量,任何一個訓練例項也都是 n+1 維的向量,特徵矩陣 X 的維度是 m*(n+1)。 因此公式可以簡化為:
2.Gradient Descent for Multiple Variables
其中:
θ1+x2θ2+⋯+xnθn
我們的目標和單變數線性迴歸問題中一樣,是要找出使得代價函式最小的一系列引數。多變數線性迴歸的批量梯度下降演算法為:
這裡需要注意的是x的下標,求導之後會變為具體的1、2、3、、、n
3.Gradient Descent —— Feature Scaling
在我們面對多維特徵問題的時候,我們要保證這些特徵都具有相近的尺度,這將幫助梯度下降演算法更快地收斂。
以房價問題為例,假設我們使用兩個特徵,房屋的尺寸和房間的數量,尺寸的值為 0-2000 平方英尺,而房間數量的值則是 0-5,以兩個引數分別為橫縱座標,繪製代價函式的等高線圖能, 看出影象會顯得很扁,梯度下降演算法需要非常多次的迭代才能收斂。
其中
3.Features and Polynomial Regression
4.Normal Equation