2. 程式人生 > >RBM（受限玻爾茲曼機）原理及程式碼

RBM（受限玻爾茲曼機）原理及程式碼

阿新 • • 發佈：2019-01-26

EBMs 的隱藏神經元

在很多情況下, 我們看不到部分的隱藏單元 x , 或者我們要引入一些不可見的參量來增強模型的能力.所以我們考慮一些可見的神經元(依然表示為 x) 和 隱藏的部分 h. 我們可以這樣寫我們的表示式:

                                                 P(x) = \sum_h P(x,h) = \sum_h \frac{e^{-E(x,h)}}{Z}.                                                                                         (2)

在這種情況下,公式類似於 (1), 我們引入符號， 自由能量, 定義如下:

                                                      \mathcal{F}(x) = - \log \sum_h e^{-E(x,h)}

                                                                                                   (3)

也可以這麼寫,

&P(x) = \frac{e^{-\mathcal{F}(x)}}{Z} \text{ with } Z=\sum_x e^{-\mathcal{F}(x)}.

資料的負極大似然梯度表示為.

                                                                      - \frac{\partial \log p(x)}{\partial \theta} &= \frac{\partial \mathcal{F}(x)}{\partial \theta} - \sum_{\tilde{x}} p(\tilde{x}) \ \frac{\partial \mathcal{F}(\tilde{x})}{\partial \theta}.                                                           (4)

注意上面的梯度表示為兩個部分，涉及到正面的部分和負面的部分.正面和負面的不表示等式中每部分的符號，而是表示對模型中概率密度的影響. 第一部分增加訓練資料的概率 (通過降低相應的自由能量), 第二部分降低模型確定下降梯度通常是很困難的, 因為他涉及到計算E_P [ \frac{\partial \mathcal{F}(x)} {\partial \theta} ]

. 這無非在所有配置下x的期望 (符合由模型生成的概率分佈 P) !

第一步是計算估計固定數量的模型樣本的期望. 用來表示負面部分梯度的表示為負粒子, 表示為 \mathcal{N}. 梯度可以謝偉:

                                                                                     - \frac{\partial \log p(x)}{\partial \theta} &\approx \frac{\partial \mathcal{F}(x)}{\partial \theta} - \frac{1}{|\mathcal{N}|}\sum_{\tilde{x} \in \mathcal{N}} \ \frac{\partial \mathcal{F}(\tilde{x})}{\partial \theta}.                             (5)

我們想 根據 P取樣元素\tilde{x} of \mathcal{N}  (例如. 我們可以做 蒙特卡羅方法). 通過上面的公式, 我們幾乎可以使用隨機粒子演算法來學習EBM模型. 唯一缺少的就是如何提取這些負粒子T \mathcal{N}

. 統計學上有許多抽樣方法, 馬爾可夫鏈蒙特卡羅方法特別適合用於模型如受限玻爾茲曼機 (RBM), 一種特殊的 EBM.

受限玻爾茲曼機 (RBM)

玻爾茲曼機（BMS）是一種特殊的對數線性馬爾可夫隨機場（MRF）的形式，即，其能量函式在其自由引數的線性空間裡。使他們強大到足以代表複雜的分佈，我們考慮到一些變數是沒有觀察到（他們稱為隱藏）。通過更多的隱藏變數（也稱為隱藏的單位），我們可以增加的玻爾茲曼機的建模能力（BM）。受限玻爾茲曼機進一步限制BMS中那些可見-可見和隱藏-隱藏的連線。下面是一個RBM的圖形描述。

_images/rbm.png

RBM能量方程 E(v,h) 定義為 :

   E(v,h) = - b'v - c'h - h'Wv                               (6)

W 表示隱藏單元和可見單元連線的權重， b, c 是可見層和隱藏層的偏置.

轉化成下面的自由能量公式:

\mathcal{F}(v)= - b'v - \sum_i \log \sum_{h_i} e^{h_i (c_i + W_i v)}.

由於RBM的特殊結構, 可見和隱藏單元 是條件獨立的. 利用這個特性, 我們可以得出:

p(h|v) &= \prod_i p(h_i|v) \\p(v|h) &= \prod_j p(v_j|h).

二值化的RBMs 

在通常的情況下使用二值化單元 (v_j和h_i \in\{0,1\}), 我們從公式. (6) and (2)得到, 概率版本的常用神經元啟用函式:

 P(h_i=1|v) = sigm(c_i + W_i v) \\                                       (7)

 P(v_j=1|h) = sigm(b_j + W'_j h)                                      (8)

二值RBM的自由能量可以更簡單的表示為:

 \mathcal{F}(v)= - b'v - \sum_i \log(1 + e^{(c_i + W_i v)}).                          (9)

二值RBM的引數更新方程

結合等式 (5) 和 (9), 我們得到下面的對數似然梯度方程:

                                - \frac{\partial{ \log p(v)}}{\partial W_{ij}} &= E_v[p(h_i|v) \cdot v_j] - v^{(i)}_j \cdot sigm(W_i \cdot v^{(i)} + c_i) \\-\frac{\partial{ \log p(v)}}{\partial c_i} &= E_v[p(h_i|v)] - sigm(W_i \cdot v^{(i)}) \\-\frac{\partial{ \log p(v)}}{\partial b_j} &= E_v[p(v_j|h)] - v^{(i)}_j                      (10)

RBM中的取樣

樣本 p(x) 可以通過執行Markov chain收斂得到，使用gibbs取樣作為轉移操作.

N隨機變數的Gibbs取樣的聯合概率S=(S_1, ... , S_N)可以通過一系列的取樣得到S_i \sim p(S_i | S_{-i}) ，其中S_{-i} 包含 N-1 個 S中其他的隨機引數但不包括S_i.

對於RBM，S包含一組可見或者不可見單元，由於他們是條件獨立的你可以執行塊Gibbs取樣。在這種背景下對可見單元同時取樣來得到隱藏單元的值. 同樣的可以對隱藏單元同時取樣，得到可見單元的值。 一步Markov chainA 由下面公式得到:

h^{(n+1)} &\sim sigm(W'v^{(n)} + c) \\v^{(n+1)} &\sim sigm(W h^{(n+1)} + b),

其中h^{(n)} 表示是指在Markov chain第n步h^{(n)} 的所有隱藏單元. 意思是, 例如, h^{(n+1)}_i 是根據概率sigm(W_i'v^{(n)} + c_i)隨機選擇為1（或者0）, 相似的, v^{(n+1)}_j 是根據概率sigm(W_{.j} h^{(n+1)} + b_j)隨機選擇為1（或者0）.

這可以用下圖說明：

_images/markov_chain.png

當 t \rightarrow \infty, 樣本(v^{(t)}, h^{(t)}) 保證處於真實樣本下 p(v,h).

理論下，每個引數的獲取都必須執行這樣一個鏈知道收斂，不用說這樣做代價是十分昂貴的。因此，大家為RBM設計了不少演算法，為了在學習過程中得到在概率分佈p(v,h)下的有效樣本。

Contrastive Divergence（中文有時稱為對比散度）

(CD-k)

CD使用兩個技巧來加速取樣過程 :

  • 由於我們最終想要得到 p(v) \approx p_{train}(v) (真實的處於資料分佈的樣本), 我們把馬爾科夫鏈初始化為一個訓練樣本（即，我們要使一個分佈靠近p，那麼我們的鏈應該已經收斂到最後的分佈p）
  • CD不需要等待鏈收斂，樣本結果k步gibbs取樣得到，在實踐中，k=1工作的出奇的好。

Persistent CD

Persistent CD [Tieleman08] 使用另一種方法近似p(v,h)下的樣本，他依賴於一個擁有持續性的馬爾科夫鏈， (i.e.,不為每個可見樣本重新計算鏈 ). 對於每一個參量更新，我們簡單的執行k-步鏈生成新的樣本。 鏈的狀態需要儲存用來計算以後步驟的參量更新.

一般的直覺是，如果參量更新對於鏈的混合速率足夠小，馬爾科夫鏈應該可以察覺到模型的改變。

下面我們需要用程式碼來實現RBM（使用c語言）

相關推薦

RBM（受限玻爾茲曼機）原理及程式碼

EBMs 的隱藏神經元 在很多情況下, 我們看不到部分的隱藏單元  , 或者我們要引入一些不可見的參量來增強模型的能力.所以我們考慮一些可見的神經元(依然表示為 ) 和 隱藏的部分 . 我們可以這樣寫我們的表示式:                                            

RBM（受限玻爾茲曼機）和深層信念網絡（Deep Brief Network）

例如 sha 目標 監督學習 怎麽 繼續 定義 再次 rbm 目錄： 一、RBM 二、Deep Brief Network 三、Deep Autoencoder 一、RBM 1、定義【無監督學習】 RBM記住三個要訣：1）

RBM（受限玻爾茲曼機）和深層信念網路（Deep Brief Network）

 目錄： 一、RBM 二、Deep Brief Network 三、Deep Autoencoder   一、RBM 1、定義【無監督學習】 RBM記住三個要訣：1）兩層結構圖，可視層和隱藏層；【沒輸出層】2）層內無連線，層間全連線；3）二值狀態值，

Deep Learning 系列（1）：RBM（受限波爾茲曼機）和 DBN（深信度神經網路）

前言：Deep Learning （DL深度學習）是近幾年來最火的一種機器學習方法，由Hinton（多倫多大學）提出。主要有兩分支：Geoffery Hinton和Joshua Bengio這一支用RBM組成deep architecture的研究。另一支是以Yann

Restricted Boltzmann Machine（限制玻爾茲曼機）

RBM原理： 玻爾茲曼機最初是作為一種廣義的“聯結主義”引入，用來學習向量上的任意概率分佈。聯結主義（connectionism）的中心思想是，當網路將大量簡單計算單元連線在一起時可以實現智慧的行為。分散式表示（distributed representation）認為系統每個

深度學習讀書筆記之RBM（限制波爾茲曼機）

深度學習讀書筆記之RBM 宣告： 1）看到其他部落格如@zouxy09都有個宣告，老衲也抄襲一下這個東西 2）該博文是整理自網上很大牛和機器學習專家所無私奉獻的資料的。具體引用的資料請看參考文獻。具體的版本宣告也參考原文獻。 3）本文僅供學術交流，非商用。所以每一部分具體

受限玻爾茲曼機（RBM）原理總結

guid filter font list cuc spa 得到 aci dcb https://blog.csdn.net/l7H9JA4/article/details/81463954 授權轉發自：劉建平《受限玻爾茲曼機（RBM）原理總結》 地址:http://w

深度學習方法：受限玻爾茲曼機RBM（三）模型求解，Gibbs sampling

歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。  技術交流QQ群：433250724，歡迎對演算法、技術、應用感興趣的同學加入。 接下來重點講一下RBM模型求解方法，其實用的依然是梯度優化方法，但是求解需要用

深度置信網路（DBN）和受限玻爾茲曼機（RBM）

原部落格於http://blog.163.com/silence_ellen/blog/static/176104222201431710264087/ 本篇非常簡要地介紹了深度信念網路的基本概念。文章先簡要介紹了深度信念網路（包括其應用例項）。接著分別講述了：(1)

七.RBM受限玻爾茲曼機

1、受限玻爾茲曼機 　  玻爾茲曼機是一大類的神經網路模型，但是在實際應用中使用最多的則是受限玻爾茲曼機（RBM）。 　　受限玻爾茲曼機（RBM）是一個隨機神經網路（即當網路的神經元節點被啟用時會有隨機行為，隨機取值）。它包含一層可視層和一層隱藏層。在同一層的神經元之間是相互獨立的，而

深度學習 --- 受限玻爾茲曼機（馬爾科夫過程、馬爾科夫鏈）

        上一節我們詳細的探討了玻爾茲曼機，玻爾茲曼機的發明是為了解決Hopfield神經網路的偽吸引子的問題，因此把退火演算法、玻爾茲曼分佈和Hopfield神經網路結合在一起形成了玻爾茲曼機（隨機神經網路）。通過前面幾節我們知道玻爾茲曼機可以很好

受限玻爾茲曼機(RBM)原理分析以及在Tensorflow的實現

簡介 受限玻爾茲曼機是一種無監督，重構原始資料的一個簡單的神經網路。  受限玻爾茲曼機先把輸入轉為可以表示它們的一系列輸出；這些輸出可以反向重構這些輸入。通過前向和後向訓練，訓練好的網路能夠提取出輸入中最重要的特徵。 為什麼RBM很重要？ 因為它能夠自動地從輸入中提

RBM--- (Restricted Boltzmann Machine,簡稱RBM : 受限玻爾茲曼機 )

當讀論文Explaining and  Harnessing Adversarial Examples的時候,發現裡面有一個概念 pre-training 不懂，就立刻查詢一下，不巧的是，在解釋pre-training的時候，遇到了RBM，又不懂（他大爺，學點知識怎麼就那麼難

受限玻爾茲曼機RBM最通俗易懂的教程

本人來到CSDN已經有一段時間了，寫文章也寫了好幾篇了，本人最喜歡的風格就是用白話講解一些通俗易懂的東西，在之前，我講了不少東西，也不知道大家懂沒懂，但沒關係，你們愛懂不懂，哈哈哈哈哈哈哈哈哈哈。 但這次，我要講的東西我覺得你們都能懂，不懂我認作你爹，哈哈哈哈哈哈哈哈哈哈哈

受限玻爾茲曼機基礎教程

unit 單個 單元 閾值 導致 相關數 負責 權重 自動編碼器 定義與結構 受限玻爾茲曼機（RBM）由Geoff Hinton發明，是一種用於降維、分類、回歸、協同過濾、特征學習和主題建模的算法。（如需通過實例了解RBM等神經網絡的應用方法，請參閱應用案例)。

六.隨機神經網路Boltzmann（玻爾茲曼機）

Hopfield網路具有最優計算功能，然而網路只能嚴格按照能量函式遞減方式演化，很難避免偽狀態的出現，且權值容易陷入區域性極小值，無法收斂於全域性最優解。 如果反饋神經網路的迭代過程不是那麼死板，可以在一定程度上暫時接受能量函式變大的結果，就有可能跳出區域性極小值。隨機神經網路的核心思想就是在網路中加入概率

達觀資料於敬：深度學習來一波，受限玻爾茲曼機原理及在推薦系統中的應用

深度學習相關技術近年來在工程界可謂是風生水起，在自然語言處理、影象和視訊識別等領域得到極其廣泛的應用，並且在效果上更是碾壓傳統的機器學習。一方面相對傳統的機器學習，深度學習使用更多的資料可以進行更好的擴充套件，並且具有非常優異的自動提取抽象特徵的能力。 另外得益於GPU、SSD儲存、大

受限玻爾茲曼機準備知識——MCMC方法和Gibbs取樣

先點明幾個名詞MCMC方法：馬爾可夫鏈-蒙特卡洛方法  (千萬別叫成梅特羅波利斯蒙特卡羅方法了)Metropolis-Hastings取樣：梅特羅波利斯-哈斯廷斯取樣Gibbs取樣：吉布斯取樣還是介紹一下學習MCMC和Gibbs取樣比較好的一個資料：隨機取樣方法與整理和受限玻

一起讀懂傳說中的經典：受限玻爾茲曼機

選自DL4J機器之心編譯參與：Nurhachu Null、思源儘管效能沒有流行的生成模型好，但受限玻爾茲曼機還是很多讀者都希望瞭解的內容。這不僅是因為深度學習的復興很大程度上是以它為前鋒，同時它那種逐層訓練與重構的思想也非常有意思。本文介紹了什麼是受限玻爾茲曼機，以及它的基本原理，並以非常簡單的語言描述了它的

受限玻爾茲曼機——簡單證明

花了很久看了一下玻爾茲曼機，感覺水有點深，總之一步一步來嘛~~~~ 先說一下一個非常好的參考資料： 受限玻爾茲曼機（RBM）學習筆記 ，有興趣的可以再看看這篇文章的參考文獻或者部落格，寫的也非常好，本文就是基於這篇文章的理解，簡單證明一下RBM 接下來開證，不對之處歡迎指正