1. 程式人生 > >機器學習基石學習筆記二-繼續講PLA

機器學習基石學習筆記二-繼續講PLA

接著上篇筆記,這裡詳細理解一下PLA

  1. 先回顧下,現在令sign函式=0,在二維圖中可以得到一條直線用於分割,現在就是要不斷的修正這條線直到它能完美分割圖上的兩類點,也就是要不斷的修正權重向量W來不斷接近目標函式f.
  2. WX=0\vec W\cdot\vec X=0說明了W與X是垂直的,這樣理解,W的維度數量與X維度數量是一致的,以二維為例,w(w1,w2)w(w_1,w_2)x(x1,x2)x(x_1,x_2)就是圖中的點,所有的線都過原點,現在把圖的中心位置定為原點。假定w的一組取值落在x1x_1,原點與x1x_1點連線得到下圖中的紫線,那麼滿足WX=0的所有x
    (x1,x2)x(x_1,x_2)
    就全部落在過原點且垂直於紫色線的直線上,下圖未畫出。
  1. 一條線畫錯後修正的方法

wt+1wt+xw_{t+1}\gets w_t+x wt+1wtxw_{t+1}\gets w_t-x 引入y成為x的係數,合併為wt+1wt+yxw_{t+1}\gets w_t+yx 從幾何上可以看成,w向量要旋轉成與一類點全部成銳角,與另一類點全部成鈍角

知錯能改,wt+x9wt+1w_t+x_9\to w_{t+1}

知錯能改,w

tx14wt+1w_t-x_{14}\to w_{t+1} 注意紅藍分界線也就是h始終與w垂直 如此迴圈,直到最終完美分類

此時確定的w就是最終的wplaw_{pla}