Training Set

訓練集

Hypothesis:

\[{h_\theta }\left( x \right) = {\theta _0} + \theta {x}\]

Notation:

θ_i‘s: Parameters

θ_i‘s: 參數

How to choose θ_i‘s?

如何選擇θ_i‘s？

Idea: Choose θ₀, θ₁so that h(x) is close to y for our training examples(x, y)

思想：對於訓練樣本（x, y）來說，選擇θ_0，θ₁ 使h(x) 接近y。

minimize（θ₀, θ₁）\[\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{(i)}}} \right) - {y^i}} \right)}^2}} \]

選擇合適的（θ₀, θ₁）使得 \[\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{(i)}}} \right) - {y^i}} \right)}^2}} \] 最小。

為了使公式的數學意義更好，將公式改為 \[\frac{1}{{2m}}\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{(i)}}} \right) - {y^i}} \right)}^2}} \]

這並不影響 （θ₀, θ₁）的取值。

定義代價函數（Cost function） \[J\left( {{\theta _0},{\theta _1}} \right) = \frac{1}{{2m}}\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{(i)}}} \right) - {y^i}} \right)}^2}} \]

目標是 \[\mathop {\min imize}\limits_{{\theta _0},{\theta _1}} J\left( {{\theta _0},{\theta _1}} \right)\]

這個代價函數也稱為平方誤差代價函數（Squared error function）

總結：

Hypothesis: \[{h_\theta }\left( x \right) = {\theta _0} + \theta {x}\]

Parameters: （θ₀, θ₁）

Cost Functions: \[J\left( {{\theta _0},{\theta _1}} \right) = \frac{1}{{2m}}\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{(i)}}} \right) - {y^i}} \right)}^2}} \]

Goal: \[\mathop {\min imize}\limits_{{\theta _0},{\theta _1}} J\left( {{\theta _0},{\theta _1}} \right)\]

例子幫助理解

首先令 θ₀=0，則代價函數變為 \[J\left( {{\theta _1}} \right) = \frac{1}{{2m}}\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{(i)}}} \right) - {y^i}} \right)}^2}} \]

三個訓練樣本

當θ₁=1時，\[J\left( {{\theta _1}} \right) = \frac{1}{{2m}}\left( {{0^2} + {0^2} + {0^2}} \right) = 0\]

當θ₁=0.5時，\[J\left( {0.5} \right) = \frac{1}{{2*3}}\left( {{{\left( {0.5 - 1} \right)}^2} + {{\left( {{\rm{1 - 2}}} \right)}^2} + {{\left( {{\rm{1}}{\rm{.5 - 3}}} \right)}^2}} \right) \approx {\rm{0}}{\rm{.58}}\]

θ₁取不同值J(θ₁)的值

每一個不同θ₁的對應一條直線，我們的目的是找出最合適的θ₁（最適合的直線）

線性回歸——代價函數