感知機模型、學習演算法、收斂性證明
1、感知機
學習資料:《統計學習方法》,cs229講義,其他。
感知機是用來進行二類分類的分類模型,而感知機的學習過程就是求出將訓練資料進行線性劃分的分離超平面過程。下面會給出感知機模型,接著進行學習,最後證明演算法的收斂性。
1.1、感知機模型
看下面的圖,有兩類點,記為-1和+1(負累和正類),我們需要求一條直線(超平面,用 來表示)來將它們進行劃分。我們最後需要得到引數 和 ,引數求解的過程就是感知機學習過程了。
假設輸入空間 是m維向量,輸出空間 。輸入 表示例項的特徵向量;輸出 表示例項的類別。那麼感知機模型表示如下:
其中 稱為權值, 稱為偏置, ,當 時候 ,當 時候 。
現在要做的是求出這樣的超平面 將空間分成正類和負類,接下來進行模型的學習,求解引數 和 。
1.2、感知機的學習演算法
先給出資料集線性可分的定義:
給定一個數據集
,其中
是m維向量(m個特徵),
表示類別,如果存在某個超平面
能夠將訓練集的正例項點和負例項點正確的劃分到超平面兩側,即:對於
的例項有
,對於
的例項有
,寫到一起也就是
那麼就說資料集
是線性可分的。
如果給定資料集是線性可分的,那麼我們就可以去求這樣的超平面 ,引數 求解過程也就成了感知機學習過程。我們定義損失函式,通過最小化損失函式值來進行引數的求解。
定義一個點 到超平面 的距離:
其中 是向量 的 範數,舉個例子來說,假設超平面表示為 那麼點(1,-2)剛好在上面,而 帶入 中結果是6,而權重和偏置變成了原來兩倍那麼 的距離就成了原來的2倍,所以我們使用了距離除以 範數進行距離的固定化,這樣權重和偏置就算成倍增加那麼距離也不會變了。這裡叫做集合間隔,而不進行標準化的叫做函式間隔。
對於誤分類的資料