感知機模型的原理

感知機模型
感知機學習策略
感知機學習演算法

本文參考《統計學習方法》李航

感知機模型

1.什麼是感知機：
感知機是一個二分類線性分類模型，輸入為例項的特徵向量，輸出為例項的類別。感知機學習旨在求出將訓練資料分離的線性劃分超平面。
2.感知機由輸入到輸出的對映：

f(x)=sign(ωx+b)
其中ω和b是感知機的引數，ω∈Rn為權值向量，b是偏置量，sign是符號函式，其中ωx+b=0對應Rn空間的一個超平面，將空間線性劃分為兩部分，在超平面的上下被分為正負兩類，用+1，-1表示。
對於一個數據集，如果所有的正負例項都能夠被一個超平面分開，則稱這個資料集是線性可分的，感知機針對的是線性可分的資料集，對於這樣一個數據集，學習一個引數ω

和b來進行分類。

感知機學習策略

1.損失函式
根據w與b，定義一個損失函式，並使得損失函式最小化。首先，Rn空間中任意一點x0到超平面的距離為

1||w|||ωx0+b|學習過程中，當點發生錯誤分類時，yi與(ωx0+b)的符號相反，且其乘積為1。那麼假設超平面S的所有錯誤分類的點的集合為M，那麼所有錯誤分類的點到超平面的距離總和為
−1||ω||∑xi∈Myi(ωxi+b)不考慮||ω||，即得到了感知機學習的損失函式。對於給定的訓練集T={(x1,y1),(x2,y2)...(xN,yN)}感知機sign(ωx+b)學習的損失函式定義為L(ω,b)=−∑xi∈Myi(ωxi+b)
顯然，損失函式是非負的，並且錯誤分類的點越少，錯誤分類的點離超平面的距離越小，損失函式的值越小。一個特定的樣本點的損失函式，錯誤分類時是ω

,b的線性函式，在正確分類時是0，因此，損失函式是ω,b的連續可到函式。

感知機的學習演算法

1.原始形式
對於給定的訓練集T={(x1,y1),(x2,y2)...(xN,yN)}求解引數ω,b是損失函式極小化。

minω,bL(ω,b)=−∑xi∈Myi(ωxi+b)
採用隨機梯度下降演算法，首先確定一個初始值，損失函式的梯度表示為：
∇ωL(ω,b)=−∑xi∈Myixi
∇bL(ω,b)=−∑xi∈Myi
則根據梯度下降規則，當出現一個錯誤分類點時，更新ω=ω+ηyixi， b=b+ηyi其中η為學習率，通過迭代使得損失函式L

(ω,b)不斷減小，直至為零。

2.對偶形式
更新ω=ω+ηyix

感知機模型的原理