模式識別（三）非線性分類器
阿新 • • 發佈：2018-11-25
遇到像圖1中所示的樣本分類，線性方法是無法發揮作用的。因為塔是線性不可分的，這時候必須採用非線性方法。
1. 多層感知器網路
多層感知器包含一個以上隱層和一個輸出層，隱層將輸入對映到一個超立方體頂點，輸出層完成線性分類。通過隱層不斷對映，最終可以將樣本對映為線性可分。隱層中每個神經元相當於一個超平面，超平面將樣本點對映到超立方體頂點上。假設一個感知器網路由L層構成，每層有節點kr，每個節點的輸入來自上一層每個節點的輸出，其權重引數為wjkr，假設啟用函式為f(x)。可以採用梯度下降演算法計算權重引數：
2. 線性分類器的推廣
如果通過函式將樣本對映到一個線性可分空間，那麼就將非線性分類任務轉化為線性分類。分類函式就可以表示為對映函式的線性組合：
這在神經網路中相當於有一個隱層神經元。而多個隱層神經元意味著將樣本空間進行多次空間對映，而最後一層實現線性分類。
3. 線性二分法中l維空間的容量
前者介紹了通過將低維空間對映到高維空間可以實現線性可分，現在來看看在一個l維空間中有多少比例的樣本是可以線性分類的，而又多少樣本是非線性分類的。為了便於計算，l維空間線性可分問題可以等價的描述為l-1維超平面中的線性分類。假設一個l-1維超平面中有N個分佈的點，被證明出，其能夠被二分的組合數是：
4. 徑向基函式網路
線性對映函式是僅僅同樣本距離相關，而且距離越近產生的影響越大。也就是某個樣本點對映的值最大，而其附近的點和它具有相關性，距離越近相關性越大。競相基函式有多種形式，比如：
