徑向基函式

徑向基函式（Radical Basis Function，RBF）方法是Powell在1985年提出的。所謂徑向基函式，其實就是某種”沿徑向對稱”的標量函式。通常定義為空間中任一點x到某一中心c之間歐氏距離的單調函式，可記作k(||x-c||)，其作用往往是區域性的，即當x遠離c時函式取值很小。

Tips：RBF的方法是要選擇P個基函式，每個基函式對應一個訓練資料，各基函式形式為，由於距離是徑向同性的，因此稱為徑向基函式。||X-Xp||表示差向量的模，或者叫2範數。

例如高斯徑向基函式：

當年徑向基函式的誕生主要是為了解決多變數插值的問題，可以看下面的圖。具體的話是先在每個樣本上面放一個基函式，圖中每個藍色的點是一個樣本，然後中間那個圖中綠色虛線對應的，就表示的是每個訓練樣本對應一個高斯函式（高斯函式中心就是樣本點）。

然後假設真實的擬合這些訓練資料的曲線是藍色的那根（最右邊的圖），如果我們有一個新的資料x1，我們想知道它對應的f(x1)是多少，也就是a點的縱座標是多少。那麼由圖可以看到，a點的縱座標等於b點的縱座標加上c點的縱座標。而b的縱座標是第一個樣本點的高斯函式的值乘以一個大點權值得到的，c的縱座標是第二個樣本點的高斯函式的值乘以另一個小點的權值得到。而其他樣本點的權值全是0，因為我們要插值的點x1在第一和第二個樣本點之間，遠離其他的樣本點，那麼插值影響最大的就是離得近的點，離的遠的就沒什麼貢獻了。所以x1點的函式值由附近的b和c兩個點就可以確定了。拓展到任意的新的x，這些紅色的高斯函式乘以一個權值後再在對應的x地方加起來，就可以完美的擬合真實的函式曲線了。

徑向基網路

到了1988年， Moody和 Darken提出了一種神經網路結構，即RBF神經網路，屬於前向神經網路型別，它能夠以任意精度逼近任意連續函式，特別適合於解決分類問題。

RBF網路的結構與多層前向網路類似，它是一種三層前向網路。輸入層由訊號源結點組成；第二層為隱含層，隱單元數視所描述問題的需要而定，隱單元的變換函式是RBF徑向基函式，它是對中心點徑向對稱且衰減的非負非線性函式；第三層為輸出層，它對輸入模式的作用作出響應。從輸人空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間變換是線性的。

RBF網路的基本思想是：用RBF作為隱單元的“基”構成隱含層空間，這樣就可將輸入向量直接（即不需要通過權連線）對映到隱空間。換句話來說，RBF網路的隱層的功能就是將低維空間的輸入通過非線性函式對映到一個高維空間。然後再在這個高維空間進行曲線的擬合。它等價於在一個隱含的高維空間尋找一個能最佳擬合訓練資料的表面。這點與普通的多層感知機MLP是不同的。

當RBF的中心點確定以後，這種對映關係也就確定了。而隱含層空間到輸出空間的對映是線性的，即網路的輸出是隱單元輸出的線性加權和，此處的權即為網路可調引數。由此可見，從總體上看，網路由輸人到輸出的對映是非線性的，而網路輸出對可調引數而言卻又是線性的。這樣網路的權就可由線性方程組直接解出，從而大大加快學習速度並避免區域性極小問題。