超平面

常見的平面概念是在三維空間中定義的：Ax+By+Cz+D=0，
而d維空間中的超平面由下面的方程確定：wTx+b=0，其中,w與x都是d維列向量,x=(x1,x2,…,xd)T為平面上的點, w=(w1,w2,…,wd)T為平面的法向量。b是一個實數, 代表平面與原點之間的距離.

點到超平面的距離：

假設點x′為超平面A：wTx+b=0上的任意一點, 則點x到A的距離為x−x'在超平面法向量w上的投影長度：

超平面的正面與反面：

一個超平面可以將它所在的空間分為兩半, 它的法向量指向的那一半對應的一面是它的正面, 另一面則是它的反面。

法向量的意義

在空間裡，向量可以看做是一個點（以原點為起始點的向量），對於分離超平面方程裡的向量x，就可以看做由座標原點到超平面任意“點”的向量

法向量的大小是座標原點到分離超平面的距離，垂直於分離超平面，方向有分離超平面決定。

支援向量機的一些理解

首先如果超平面的形式為：w1x1+w2x2+⋯+wNxN+b=0，向量化表示為：wTx+b=0

學習過程中會有幾個疑惑的地方：

• 統一超平面的形式：即在w,b同時擴大或縮小相同倍數後得到不同的超平面形式，但其實代表同一超平面。此時可以通過找到離這條直線最近的點x′，方程兩邊同時除以|wTx+b|，注意離超平面最近的點使得|wT
  x+b|=1，其他的點都是|wTx+b|⩾1，再利用樣本的標籤+1,−1使得到的超平面方程統一化。此時資料集到求出的超平面的最短距離是1||w||
• 按照同樣的方式的到了其他的超平面，此時資料集到求出的超平面的最短距離也是1||w||，但確是不同的w，此時應選資料集到這些超平面中最小距離中最大的那一個作為最好的分割超平面，運用運籌學分支之一的非線性規劃的知識可解得此約束最優化問題。