1. 程式人生 > >CS229機器學習個人筆記(2)——Linear Regression with Multiple Variables

CS229機器學習個人筆記(2)——Linear Regression with Multiple Variables

1.Multiple Features

目前,我們只討論了單特徵的迴歸模型,現在來增加一些特徵。

這裡寫圖片描述

增添更多特徵後,我們引入一系列新的註釋:
n —— 代表特徵的數量。
x(i) 代表第 i 個訓練例項,是特徵矩陣中的第 i 行,是一個向量(vector)。
比方說,上圖的 x(2)=14163240 ,
x(i)j 代表特徵矩陣中第 i 行的第 j 個特徵,也就是第 i 個訓練例項的第 j 個特徵。如上圖的

x(2)3=2
支援多變數的假設 h 表示為: hθ(x)=θ0+x1θ1+x2θ2++xnθn
這個公式中有 n+1 個引數和 n 個變數,為了使得公式能夠簡化一些,引入 x0=1 ,則公式轉化為:
此時模型中的引數是一個 n+1 維的向量,任何一個訓練例項也都是 n+1 維的向量,特徵矩陣 X 的維度是 m*(n+1)。 因此公式可以簡化為: h
θ
(x)=θTX
其中上標 T 代表矩陣轉置。

2.Gradient Descent for Multiple Variables

J(θ0,θ1θn)=12mi=1m(hθ(x(i))y(i)))2

其中: hθ(x)=θ0+x1

θ1+x2θ2++xnθn

我們的目標和單變數線性迴歸問題中一樣,是要找出使得代價函式最小的一系列引數。多變數線性迴歸的批量梯度下降演算法為:

這裡寫圖片描述
這裡寫圖片描述

x123n

3.Gradient Descent —— Feature Scaling

在我們面對多維特徵問題的時候,我們要保證這些特徵都具有相近的尺度,這將幫助梯度下降演算法更快地收斂。
以房價問題為例,假設我們使用兩個特徵,房屋的尺寸和房間的數量,尺寸的值為 0-2000 平方英尺,而房間數量的值則是 0-5,以兩個引數分別為橫縱座標,繪製代價函式的等高線圖能, 看出影象會顯得很扁,梯度下降演算法需要非常多次的迭代才能收斂。
這裡寫圖片描述

xn=xnμnsn

其中 μn 是平均值, sn 是標準差。

3.Features and Polynomial Regression

這裡寫圖片描述

4.Normal Equation

這裡寫圖片描述
這裡寫圖片描述