之前零零散散學習機器學習，沒細扣一些證明之類的東西，感覺能夠支撐我對演算法的理解就好，最近想出去找實習了，想想還是找本書扣一下細節。推薦大家一本李航教授寫的《統計學習》寫的很通俗，本文也是對該書相應部分進行詳細備註的。（因為中間一些節點不說破看不懂，本人也是看了別人部落格才弄清楚的）

希望對大家有所幫助，看懂了點個贊

——————————————————————我是分界線———————————————————————

首先先宣告一下證明演算法收斂的方向

收斂就是演算法執行到某一步一定會結束，不然演算法無窮無盡迭代下去怎麼辦

所以要先證明存在一個K，它就是迭代次數的一個上限

K存在的證明有兩步

1. 證明成立
2. ，證明成立

   至於為什麼是這兩個公式，我只能說一點原因都沒有，就是人家的數學修養好，知道要引出這兩個東西好讓最後得出K

那讓我們先看看K的形式：

神奇吧！這個形式不就證明了K是有上限的嗎？這就證明了演算法收斂了(R和γ是什麼先不管，看下面↓↓↓)

————————————————————————我還是分界線——————————————————————

#先交代一下權重w和偏置b的梯度如下：

為了便於敘述和推導，將偏置b併入權重w，記作

記作這樣

——————————————————————我，是分界線————————————————————————

#OK現在我們開始推導

        假設存在的一個超平面(隨便都可以，1是為了方便)，則，該平面對訓練集中的全部樣本準確分類，

存在一個>0，使得 ，

意思就是比最靠近超平面的點到超平面的距離還要小。往證明（1）

       證明：

                              ∵   

                              ∴   

                                             上面最後一個不等式中

                                                                 仔細看下有沒有發現遞推規律出來了

                                                                         即：

                                                       如此簡單我們證明了第一個不等式，是不是很簡單

#我們再看第二個不等式

(2)

(2)題幹，

                                ∵

        其中第1個等式是對的展開，形如(a+b)^2=a^2+2ab+b^2,不懂看向量求模那一塊

        第2個不等式是因為在演算法迭代的過程中第k-1步是發現個樣本分類錯誤的。所以有與是反方向的，所以乘積為負，省略後變≤。

        第3步是引入條件，從這一步開始又變成遞推公式了。

好了在這裡完成了對第二個不等式的證明。看到這裡了離成功只有一步了，作為一個自認為數學菜鳥的你居然完成了Novikoff的證明，

讓我們看回證明過的兩個不等式

                                                      ...............................................(1)                   

                                                   ................................................(2)

                                                                                        結合一下

                                                                                      再兩邊平方，削去η

                                                                      再去k移項不就得到了我們要的東西嗎？

K大於這個形式那麼演算法的收斂就得到證明了

———————————————————————分界線—————————————————————————

希望能幫到你，看懂了點個讚唄