• • BP演算法
  • RBF
    • 高斯徑向基函式
    • RBF模擬例項
  • 參考資料

最近開始做自己的畢業設計,開始記錄相關的智慧控制學習心得和知識點.

BP演算法

bp演算法全稱BackPropagation,也就是誤差反向傳播演算法,它的基本思想是梯度下降法,採用梯度搜索技術,通過鏈式求導法則,最終使得網路輸出和期望輸出的誤差方差最小.BP演算法的圖如下圖所示:

三層網路:輸入層,隱藏層和輸出層.網路的前向傳播和誤差反向傳播可參考這篇部落格:

大白話講解BP演算法.這裡主要涉及到的是對於sigmod函式的求導.

$$f(x)=\frac{1}{1+e^{-x}}$$
其求導結果如下:
$$f(x)^{'}=f(x)(1-f(x))$$
對於鏈式求導法則,可以舉一個簡單的例子:
$f(x)=x^2,g(x)=2x+1,現在對y=f(g(x))求導$則有:
$$\frac{dy}{dx}=\frac{dy}{dg(x)}*\frac{dg(x)}{dx}=2*g(x)*2=8x+4$$

這裡有一個BP演算法逼近的示例(《智慧控制》第4版 page131),系統的傳遞函式如下:

$$y(k)=u(k)^3+\frac{y(k-1)}{1+y(k-1)^2} \\ 取樣時間取1ms,輸入訊號為u(k)=0.5sin(6\pi t),神經網路為2-6-1結構,權值\mathbf{W_1},\mathbf{W_2}的初始值取[-1,+1]之間的隨機值,取學習速率\eta=0.5,動量因子\alpha=0.1$$

clear all
close all
xite = 0.5;%學習速率
alfa = 0.1;%動量因子,動量因子大一點可以減小振盪,加快收斂,太大了會發散
w2=rands(6,1);%隱藏層和輸出層的連線(隱藏層6個神經元)
w2_1=w2;w2_2=w2_1;
w1=rands(2,6);%輸入層和隱藏層的連線(輸入層兩個u(k)和y(k))
w1_1=w1;w1_2=w1;

dwl=0*w1;%2x6,初始化為0

x=[0,0]';%輸入初始化

u_1 = 0;
y_1 = 0;

I=[0,0,0,0,0,0]';
Iout=[0,0,0,0,0,0]';
FI=[0,0,0,0,0,0]';

ts=0.001;%步長
for k = 1:1:1000
    time(k) = k*ts;
    u(k) = 0.5*sin(3*2*pi*k*ts);%輸入u(k)
    y(k)=u_1^3+y_1/(1+y_1^2);%實際輸出y(k)
    for j =1:1:6
        I(j)=x'*w1(:,j);%I是一個三維的陣列,輸入層乘以權重到隱藏層
        Iout(j)=1/(1+exp(-I(j)));%sigmod函式,即f(net)
    end
    yn(k)=w2'*Iout;%輸出
    e(k)=y(k)-yn(k)%誤差
    w2=w2_1+(xite*e(k))*Iout+alfa*(w2_1-w2_2);%隱藏層到輸出層的梯度,此處求導不涉及sigmod 函式
    for j=1:1:6
        FI(j)=exp(-I(j))/(1+exp(-I(j)))^2;%sigmod函式的求導結果
    end
    for i=1:1:2
        for j =1:1:6
            dw1(i,j)=e(k)*xite*FI(j)*w2(j)*x(i);%隱藏層到輸入層的誤差梯度
        end
    end
    w1=w1_1+dw1+alfa*(w1_1-w1_2);%更新輸入層到隱藏層權重


    yu=0;
    for j=1:1:6
        yu=yu+w2(j)*w1(1,j)*FI(j);
    end
    dyu(k)=yu;%Jacobian資訊
    x(1)=u(k);
    x(2)=y(k);

    w1_2=w1_1;w1_1=w1;
    w2_2=w2_1;w2_1=w2;
    u_1=u(k)
    y_1=y(k)
end

figure(1);
plot(time,y,'r',time,yn,'b');
xlabel('time(s)');ylabel('y and yn');
figure(2);
plot(time,y-yn,'r')
xlabel('time(s)');ylabel('error');
figure(3);
plot(time,dyu);
xlabel('time(s)');ylabel('dy')

模擬結果如下:

BP演算法只要有足夠多的隱藏層和隱藏節點,理論上是可以逼近任意的非線性系統的,它屬於全域性逼近演算法,具有較強的泛化能力.但是BP演算法待優化引數多,收斂速度慢,難以確定隱藏層和隱藏節點數,很多時候要靠經驗試湊.難以適應實時控制的要求.

---

RBF

徑向基函式(Radial Basis Function,RBF)神經網路是一種三層網路.其學習過程和BP演算法類似,二者的主要區別在於:(1)隱藏層的啟用函式不同,BP演算法的啟用函式是sigmod函式,RBF的啟用函式是高斯基函式;(2)BP演算法是全域性的逼近,每次學習都要進行所有網路連線的權重迭代更新,RBF是一種區域性逼近,其輸入層到輸層是非線性對映,但其隱藏層到輸出層是線性對映的.且輸入層到隱藏層直接求和,不需要引數迭代.

高斯徑向基函式

首先給出高斯徑向基函式的表示式:

f(x)=exp(−||x−c||22b)其中,c是函數的中心,b是函數的寬度 $$ f ( x ) = e x p ( − | | x − c | | 2 2 b ) 其 中 , 相關推薦 BP演算法和RBF演算法的網路逼近 BP演算法 RBF 高斯徑向基函式 RBF模擬例項 參考資料 最近開始做自己的畢業設計,開始記錄相關的智慧控 Python基於K-均值、RLS演算法實現RBF神經網路（神經網路與機器學習 第五章 計算機實驗） 1、生成資料集 class moon_data_class(object): def __init__(self,N,d,r,w): self.N=N self.w=w self.d=d self.r=r 計算機網路之慢開始演算法和擁塞演算法 慢開始演算法 顧名思義，慢開始演算法在開始時不要傳送大量資料，從小到大增加擁塞視窗的大小。 在開始時，將傳送視窗以及擁塞視窗初始值設為1，等接收方確認資料之後，擁塞視窗 成倍增加，傳送視窗也成倍增加.直到視窗大小等於滿開始門限 Matlab實現BP神經網路和RBF神經網路（一） 本實驗依託於教材《模式分類》第二版第六章（公式符號與書中一致） 實驗內容： 設計編寫BP神經網路和RBF神經網路，對給定資料集進行分類測試，並將分類準確率與SVM進行對比。 實驗環境： matlab2016a 資料集： 資料集大小3*30 Matlab實現BP神經網路和RBF神經網路（二） 在上一篇博文中：Matlab實現BP神經網路和RBF神經網路（一） 中，我們討論了BP網路設計部分，下面我們將設計RBF網路並將它們結果與SVM對比。 資料格式不變，詳情請看上一篇博文。 RBF神經網路： RBF網路和BP網路都是非線性多層前向網路，它們都 資料結構（排序演算法和查詢演算法的時間複雜度和空間複雜度） 這是從大神給多的網站上找到的演算法的時間複雜度趨勢和各個常用結構的複雜度截圖。     演算法的時間複雜度，用來度量演算法的執行時間，記作: T(n) = O(f(n))。它表示隨著 輸入大小n 的增大，演算法執行需要的時間的增長速度可以用 f(n) 來描 最小生成樹的兩種方法（Kruskal演算法和Prim演算法） 關於圖的幾個概念定義： 連通圖：在無向圖中，若任意兩個頂點vivi與vjvj都有路徑相通，則稱該無向圖為連通圖。 強連通圖：在有向圖中，若任意兩個頂點vivi與vjvj都有路徑相通，則稱該有向圖為強連通圖。 連通網：在連通圖中，若圖的邊具有一定的意義，每一條邊都對應著一個數，稱 K-means演算法和KNN演算法 github: 智慧演算法的課件和參考資料以及實驗程式碼   K-means是最為常用的聚類演算法，該演算法是將相似的樣本歸置在一起的一種無監督演算法。採用距離作為相似性的評價指標，即認為兩個物件的距離越近，其相似度就越大。 演算法主要步驟可描述如下： &nb 最小生成樹的prim演算法和kruskal演算法 轉載自：勿在浮沙築高臺http://blog.csdn.net/luoshixian099/article/details/51908175 關於圖的幾個概念定義： 連通圖：在無向圖中，若任意兩個頂點vi與vj都有路徑相通，則稱該無向圖為連通圖。 強連通圖：在有向圖中，若任意兩個 RSA演算法和DH演算法的區別 同是非對稱演算法(用非對稱演算法來生成對稱演算法)，非對稱演算法的根本原理就是單向函式，f（a）=b，但是用b很難得到a。   RSA演算法 RSA演算法是基於大數難於分解的原理。不但可以用於認證，也可以用於金鑰傳輸。那麼使用者A和B如何利用RSA演算法來傳輸金鑰呢？ 1：A產 圖-最短路徑—Dijkstra演算法和Floyd演算法 1.定義概覽 Dijkstra(迪傑斯特拉)演算法是典型的單源最短路徑演算法，用於計算一個節點到其他所有節點的最短路徑。主要特點是以起始點為中心向外層層擴充套件，直到擴充套件到終點為止。Dijkstra演算法是很有代表性的最短路徑演算法，演算法使用了廣度優先搜尋解決賦權有向圖或者無向圖的單源 大話資料結構讀書筆記艾提拉總結 查詢演算法 和排序演算法比較好 第1章資料結構緒論 1 第2章演算法 17 第3章線性表 41 第4章棧與佇列 87 第5章串 123 第6章樹 149 第7章圖 21 大話資料結構讀書筆記艾提拉總結   查詢演算法 和排序演算法比較好     第1章資料結構緒論 1 第2章演算法 17 第3章線性表 41 第4章棧與佇列 87 第5章串 123 第6章樹 149 第7章圖 211 布隆過濾器（Bloom Filter）（給兩個檔案，分別有100億個字串，我們只要1g的記憶體，如何找到兩個檔案的交集？分別給出精確演算法和近似演算法？）   給兩個檔案，分別有100億個字串，我們只要1g的記憶體，如何找到兩個檔案的交集？分別給出精確演算法和近似演算法？ 精確演算法：   我們可以建立1000個檔案，運用雜湊函式先將檔案1的字串儲存在對應的檔案中，之後再檔案2中取元素，通過雜湊函式計算出雜湊地址 粒子群演算法和遺傳演算法的比較 粒子群演算法（PSO）和遺傳演算法(GA)都是優化演算法，都力圖在自然特性的基礎上模擬個體種群的適應性，它們都採用一定的變換規則通過搜尋空間求解。     PSO和GA的相同點：   (1)都屬於仿生演算法。PSO主要模擬鳥類覓食、人類認知等社會行 dijsktra演算法和prim演算法的區別 /* dij中的dist[i]表示的是到起始點ｓ的距離；而prim中的dist[i]表示的是到這棵樹的距離. 就比如我們在寫跟新dist[i]陣列時dij中的寫法是這樣的dist[j]=dist[pos 頁式儲存的FIFO演算法和LRU演算法 註釋都在程式碼裡面，寫的很垃圾，沒有優化，，，（用佇列實現的）程式碼行數有點多是因為自己寫了佇列沒有直接用演算法的jar包  發文章主要是為了持之以恆的徽章。 FIFO演算法 package sy4.zw; import java.lang.Cloneable; publ 字串匹配基礎上——BF 演算法和 RK 演算法 單模式匹配演算法，也就是一個字串和另一個字串進行匹配。 1. BF 演算法 BF 演算法中的 BF 是 Brute Force 的縮寫，中文叫作暴力匹配演算法，也加樸素匹配演算法。從名字可以看出，這種方法很暴力，效率也不高，但是簡單、好懂。 在要匹配的兩個字串中 Dijkstra演算法和A*演算法的比較 Dijkstra演算法和A*演算法都是最短路徑問題的常用演算法，下面就對這兩種演算法的特點進行一下比較。 1.Dijkstra演算法計算源點到其他所有點的最短路徑長度，A*關注點到點的最短路徑(包括具體路徑)。 2.Dijkstra演算法建立在較為抽象的圖論層面，A*演算法可以更輕鬆地用在諸如遊戲地圖尋路中。 聚類演算法和分類演算法總結 聚類演算法總結   原文: http://blog.chinaunix.net/uid-10289334-id-3758310.html 聚類演算法的種類： 基於劃分聚類演算法（partition clusterin prime演算法和dijkstra演算法的主要區別，以及實現 prime演算法參考點選開啟連結http://blog.csdn.net/yeruby/article/details/38615045 1. prime演算法和dijkstra演算法的主要區別 Dijkstra演算法的物件無所謂是有向圖還是無向圖，它可以求單源最短路徑（一個點到其 $$