SVM開篇提到的超平面概念如何理解?
什麼是超平面
我們最常見的平面概念是在三維空間中定義的:
- 方程是線性的: 是空間點的各分量的線性組合
- 方程數量為1
若拋卻維度等於3的限制, 就得到了超平面的定義. 方程數量為1, 它的本質其實是自由度比空間維度d小一.自由度的概念可以簡單的理解為至少要給定多少個分量的值才能確定一個點.
例如, 三維空間裡的(超)平面只要給定了(x,y,z)中任意兩個分量, 剩下的一個的值就確定了. 先確定值的兩個分量是自由的, 因為它們想取什麼值就能取什麼值;剩下的那個是"不自由的", 因為它的值已經由另外兩確定了.二維空間裡的超平面為一條直線. 一維空間裡超平面為數軸上的一個點.
現在用數學語言定義一下.
d維空間中的超平面由下面的方程確定:
w
二維平面就是(w1,w2)(x1;x2)+b=0,即w1x1+w2x2+b=0。(直線方程)
點到超平面的距離
假設點x′為超平面A:wTx+b=0上的任意一點,
則點x到A的距離為x−x′在超平面法向量w上的投影長度:
超平面的正面與反面
一個超平面可以將它所在的空間分為兩半, 它的法向量指向的那一半對應的一面是它的正面, 另一面則是它的反面.
判斷一個點是在超平面的正面還是反面(面向的空間裡)
還是要用到它的法向量w.
仍然假設點x′為超平面A:wTx+b=0上的任意一點,
點x為待判斷的點.
若x−x′
與w的夾角小於90∘,
則x在A的正面,
否則在反面
所以判定依據為:
若將距離公式中分子的絕對值去掉, 讓它可以為正為負. 那麼, 它的值正得越大, 代表點在平面的正向且與平面的距離越遠. 反之, 它的值負得越大, 代表點在平面的反向且與平面的距離越遠.
http://blog.163.com/zhuandi_h/blog/static/180270288201261911146436/