感知機模型的對偶形式[轉載]
阿新 • • 發佈:2018-12-03
轉自:https://blog.csdn.net/jaster_wisdom/article/details/78240949#commentBox
1.區分一下易混淆的兩個概念,梯度下降和隨機梯度下降:
梯度下降:一次將誤分類集合中所有誤分類點的梯度下降;
隨機梯度下降:隨機選取一個誤分類點使其梯度下降。
2.對於誤分類的資料來說,當w*xi + b>0時,yi = -1,也就是,明明是正例,預測成負例。因此,誤分類點到超平面的距離為:
因此所有誤分類點到超平面的總距離為:
忽略1/||w||,我們就可以得到感知機學習的損失函式。
3.損失函式
4.對偶形式
對偶形式的一般性描述:
輸出Ni,b; 感知機模型為:
(1)Ni = 0
(2)在訓練集中選取資料(xi,yi)
(3)若
則更新:
(4)轉至(2)直到沒有誤分類的資料。
為了方便後期的計算,可先求出Gram矩陣。
例如,正例:x1 = (3,3)^T, x2 = (4,3)^T, 負例: x3 = (1,1)^T
那麼Gram矩陣就是:
因為對偶形式中會大量用到xi*xj的值,所以提前求出Gram矩陣會方便很多。