漫談機器學習經典演算法—人工神經網路
阿新 • • 發佈:2019-01-04
注:整理自向世明老師的PPT
內容提要
1 發展歷史
2 前饋網路(單層感知器,多層感知器,徑向基函式網路RBF)
3 反饋網路(Hopfield網路,聯想儲存網路,SOM,Boltzman及受限的玻爾茲曼機RBM,DBN,CNN)
發展歷史
單層感知器
1 基本模型
2 如果激勵函式是線性的話,可用最小二乘直接計算
3 如果激勵函式是sifmoid function,可迭代更新(一次性或者逐樣本更新)
上式只做了簡單的求導展開,很容易推導
多層感知器
1 基本模型
2 舉例(含有一個隱含層的多層感知器MLP)
模型:
y=h(v)=h(h(u))
求解:
這裡怎麼轉換到6k(xi)的?
然後分別對兩個層的權值求導:
然後更新即可,反向傳播(BP)
3 經驗
4 優缺點
RBF神經網路
1 模型
2 求解
3 優點和視角
深度學習簡介
1 前向神經網路
2 發展歷程
3 整體一覽
4 一些值得關注
學術
工業
Belief Network & Hopfield Network & Boltzman機 & RBM 結構一瞥
1 Belief Network
2 Hopfield Network
3 Boltzman機
4 RBM 受限的玻爾茲曼機
RBM
1 模型
利用上圖中公式,可以得到
2 求解 CD演算法
DBN
1 模型
2 訓練
面向特徵提取
面向分類
DBM
模型
CNN
1 模型
2 訓練
參考文獻