1. 程式人生 > 實用技巧 >20201010_玻爾茲曼機_觀看覃秉豐課程筆記

20201010_玻爾茲曼機_觀看覃秉豐課程筆記

視訊錄製於2017年

一、玻爾茲曼機理解起來要複雜一些,比BP網路,卷積神經網路,殘差神經網路,LSTM遞迴神經網路等理解起來還要難一些。儘管玻爾茲曼機複雜但是還是很重要的,在2016年一片深度學習奠基性的論文用到了受限的玻爾茲曼機。這片論文堪稱開闢了深度學習這個研究放向,可見玻爾茲曼機還是很重要的。

二、BP網路比玻爾茲曼機的使用範圍要廣泛一些。

三、退火是一種金屬的熱處理工藝,將金屬加熱到一定的溫度,保持足夠時間,然後以適宜速度慢慢冷卻。退夥可以改善材料效能,提升金屬品質。玻爾茲曼機會涉及到模擬退火演算法。

四、模擬退火演算法

模擬退夥演算法圖

模擬退火演算法的引數改變

模擬退火演算法的過程

五、玻爾茲曼機

自聯想型和異聯想型的玻爾茲曼機

參考《人工神經網路理論、設計及應用》第140頁

玻爾茲曼分佈是粒子在平衡狀態下的一種分佈,神經元看作是玻爾茲曼中的粒子,讓粒子自由的進行狀態之間的轉移,最後達到玻爾茲曼的一種分佈。

六、玻爾茲曼機的訓練

玻爾茲曼機的訓練

玻爾茲曼機的訓練

自由節點就是隱藏節點

正向學習階段-->模擬退火演算法-->反向學習階段-->模擬退火演算法-->更新一個權值

有鉗制狀態(正向學習)和無鉗制的狀態(反向學習)這兩個狀態下任意兩點同時為1的概率充分接近時訓練結束

玻爾茲曼機的演算法很完美,但是訓練網路時需要的時間非常的長,所以沒有得到應用

八幾年發明的這個演算法一直沒有得到應用(計算量非常大),對於計算複雜一直沒有找到合適的解決方法