機器學習技法筆記01-----SVM支援向量機
阿新 • • 發佈:2018-12-21
寫的文章發給老師看得到回覆裡面有:去看看機器學習基礎知識~
最近,嗯,來一波機器學習基礎~
特徵轉換(Feature Transforms)的三個方向:
SVM:解決如何選擇特徵轉換以及複雜度的問題
AdaBoost:找出比較具有預測性質的特徵並將其結合起來
Deep Learning:找出(學出)隱藏特徵
第一講:Linear Support Vector Machine
原理:
噪聲是造成過擬合的主要原因,測量誤差也是一種噪聲,下圖三對測量誤差的容忍度更強,能容忍最多的誤差,即線離點越遠,就是越好的分割邊界。
也可以用第二行的方式,分隔的區域越寬越好。
公式推導:
演算法的目標是要找出一條線,使其到所有點的距離最小。上面高亮部分distance即點到分割線的距離。
高亮部分的距離的計算方法以及公式推導過程如下:
這裡新增w0和x0,為了便於區分,將w0表示為b。
問題:問什麼要加w0和x0?
視訊中的說法是要“把x墊的高一點,塞一個x0,令x0為一個正數1,對應也塞一個w0”,為什麼要做這個操作?
是對於y = WX + b這樣的公式,如果沒有b,那麼要求直線y必須經過原點,而對於我們的預測問題沒必要加這樣的限制,直線可以相對於原點有任意的偏移值b,b的取值要求是使y達到最小。
計算點x到平面的最短距離(垂直距離)的推導過程:
為找到完美的平面(即兩種類別的分隔面),需滿足點到該平面的距離最小:
進一步簡化上式:
應用