在空間中，我們定義分類的線性函式為：$g(x)=w^{T}x+b$
其中樣本$x=(x_{1},x_{2},...,x_{l})^{T}$，權向量$w=(w_{1},w_{2},...,w_{l})^{T}$,偏移量是$b$。

上圖展示了權向量和樣本的關係，由公式：$\cos{<w,x_{i}>}=\frac{w \cdot x_{i}}{\left \| w \right \|\left \| x_{i}\right \|}$

從鳶尾花資料集中挑選山鳶尾(iris-Setosa)和變色鳶尾(iris-Versicolor) 兩種花的資訊作為測試資料。出於視覺化的原因，只考慮資料集中萼片長度(sepla length)和花瓣長度(petal length)這兩個特徵。

import pandas as pd
df = pd.read_csv(r'http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data')
df.tail()

y = df.iloc[0:99, 4].values
y

import numpy as np
import matplotlib.pyplot as plt
y = np.where(y == 'Iris-setosa', -1, 1)
x = df.iloc[0: 99, [0, 2]].values
plt.scatter(x[:49, 0], x[:49, 1], color='red', marker='o', label='setosa')
plt.scatter(x[49:99, 0], x[49: 99, 1], color='blue', marker='x', label='versicolor')
plt.xlabel('petal length')
plt.ylabel('sepal length')
plt.legend(loc='upper left')
plt.show()

這裡需要定義出一條線性迴歸線用於分類，需要再圖中定義分類的線性函式：
權值向量為$w= \begin{bmatrix} w_{0}\\ w_{1}\\ w_{2} \end{bmatrix}$,$x= \begin{bmatrix} 1\\ x_{1}\\ x_{2} \end{bmatrix}$ $z=w_{0}+x_{1}w_{1}+x_{2}w_{2}=w^{T}x$
標籤判定函式：
$\phi (z)=\left\{\begin{matrix} 1, z\geq 0 \\ -1, z<0 \end{matrix}\right.$

誤差函式：
$J(w)=\frac{1}{2n}\sum_{i}(y^{i}-z^{i})^{2}$
求解偏導數：
$\frac{\mathrm{\partial }J\left(w\right)}{\mathrm{\partial }{w}_j}=\frac{1}{2n}\sum _{}$