這一課主要是從如何判斷一個機器學習分類演算法裡擬合的引數是最佳引數引出函式間隔和幾何間隔的定義。

1、函式間隔

    假設假想函式，，那麼可以知道y=1；反之則y=0 。所以當，我們可以很確定的認為y=1；當，可以很確定地認為y=0。所以在分類演算法中，我們在訓練樣本時得到這兩個結果的時候，就可以知道選擇的引數能很好的擬合數據，能很有自信地認為我們的分類器是符合資料事實的。因此我們資料可以引出函式間隔的定義。

    給定某一個數據案例，假想函式為（用(w,b)表示，表示為b，表示為w，整個假想函式的結果表示為{-1,1}），我們可以定義基於引數（w,b）的這個資料案例的函式間隔為：

因此可知，如果要得到一個值儘可能大的函式間隔，在時，需要為一個儘可能大的正數即為。在時，需要為一個儘可能大的負數即為。所以我們可以推出

當函式間隔大的時候，演算法選擇的引數能更好的模擬資料的現實能對測試資料集做出更好的推測。

    在給定的整個訓練資料集上，函式間隔為:

2、幾何間隔

圖1

    假設假想函式，圖1中的線表示，稱為分隔超平面(用來將資料集分隔開來的直線，也叫決策邊界)。圖1中所有資料點都在二維平面上，所以此時分隔超平面為一條直線。但是如果所有資料點是在三維空間裡，則分隔超平面為一個平面。如果資料在n維空間裡，則分隔超平面為n-1維的超平面。

    可知資料點裡決策邊界越遠，其最後的預測結果就越可信。圖1中的A點離決策邊界最遠，說明可以非常確定的認為它屬於y=1；而c點最靠近決策邊界，只要稍微改變下決策邊界就可以判斷其屬於y=0。因此，可知分隔超平面（決策邊界）的選擇取決於離分隔超平面最近的點與分隔超平面之間的間隔，這間隔就是幾何間隔，支援向量就是離分隔超平面最近的點。幾何間隔越大，說明分類器越可信。

圖2

    按圖2可定義幾何間隔，已知A為，假想函式為，可知w是分隔超平面的法向量，w/||w||為分隔超平面的單位法向量。點A可以代表y=1的情況，假設AB= ，所以B（，0）。所以可以得到如下等式：

所以求解可得：

這個求解的只是y=1的情況，所以綜合y=-1的情況可定義A點的幾何間隔為：

在給定的整個訓練資料集上，幾何間隔為

3、函式間隔和幾何間隔的關係

函式間隔/||w|| =幾何間隔

函式間隔會隨著w和b的縮放而縮放，但是對於演算法的引數選取沒有意義。幾何間隔不會隨著w和b的縮放而縮放。