1. 程式人生 > >代價函式(一)(二)

代價函式(一)(二)

在迴歸演算法中用字母表示特定的意義:
m = 訓練樣本的數量。
x = 輸入變數(特徵)
y = 輸出變數
(x,y) = 一個訓練樣本
(x^(i),y^(i))= 第i個訓練樣本

 

本節假定theta_0 = 0以解釋代價函式的作用
對給定的theta_1,h(x)是對x的函式
J(theta_1)是關於引數的函式
最小化J使得theta_1能夠使hx預測值更加準確

 

這裡可以看到我們把左邊的假設函式簡化使得θ0的值為0,這樣可以簡單的去解釋J(θ1)只關於一個變數θ1的函式關係。

這裡我們給定三個函式值(1,1)(2,2)(3,3),分別讓θ1等於1,0.5,0等等一系列的數,從而得出J(θ1)的函式關係圖。從右邊的影象中可以看到最小的J(θ1)的值是當θ1等於1的時候的函式值0.這也是最接近實際值的假設函式的θ1的值。

代價函式(二)

先回顧一下之前學習的幾個概念:假設函式、引數、代價函式、目標函式。如下:

 

這裡我們不再讓θ0的為0,從而我們有兩個變數值即θ1和θ0,代價函式為J(θ0,θ1)

上一節只有一個引數θ1,我們得到的代價函式是一個碗狀的二次函式影象,這裡我們的引數有兩個J(θ0,θ1),我們得到的假設函式也是一個碗狀的影象。不過是三維的,我們也可以用等高線來描述。

(等高線:對於函式J(theta1,theta2),同一條等高線上的代價函式J的值相等。)

                                 3D描述

  看上圖的右邊的3個紅叉,他們表示的代價函式的值相同。讓我們再看看分別幾個不同的(θ0,θ1)所得到的J的影象

可以看到我們得到的幾個代價函式J(θ0,θ1)的值距離中心的距離有近有遠,最後一組得到的距離中心最近即我們最小代價函式。

 

學習演算法的優化目標是通過選擇sita1的值,獲得最小的J(sita1)的值,這就是線性迴歸的目標函式

逐漸靠近中心,最後只有一個點,這個時候損失值是最小的,也就是這個時候theta是最優的