函式間隔和幾何間隔
阿新 • • 發佈:2019-02-02
在做分類時,通常希望用一條直線來將所有的樣本分開,如圖所示,這條直線就相當於一個超平面。
這條直線可以認為是一個超平面,其函式為,f(x)可以 取1 或者-1,用(w,b)表示,表示為b,表示為w。
定義函式間隔(用表示)為:
所有的樣本集合(xi,yi)的函式間隔最小值(其中,x是特徵,y是結果標籤,i表示第i個樣本),便為超平面(w, b)關於訓練資料集T的函式間隔:
=mini (i=1,...n)
基於引數(w,b)的這個資料案例的函式間隔為:
在給定的整個訓練資料集上,函式間隔為:
假定對於一個點 x ,令其垂直投影到超平面上的對應
根據平面幾何知識,有
其中||w||為w的二階範數(範數是一個類似於模的表示長度的概念),是單位向量(一個向量除以它的模稱之為單位向量)。
根據和,即可算出:
γ
為了得到的絕對值,令乘上對應的類別 y,即可得出幾何間隔(用表示)的定義:
幾何間隔就是函式間隔除以||w||,而且函式間隔y*(wx+b) = y*f(x)實際上就是|f(x)|,而幾何間隔|f(x)|/||w||才是直觀上的點到超平面的距離。