深度信念網路在處理維數比較多的資料時，可以起到壓縮資料維度的作用。其經典結構為：

DBN由多個RBM堆疊而成，訓練過程由預訓練和微調構成
深度信念網路訓練步驟：
（1）預訓練：分別單獨無監督的訓練每一層RBM網路，確保特徵向量對映到不同特徵空間，都儘可能的保留特徵資訊；它通過一個非監督貪婪逐層方法預訓練獲得權重（即不要類標，不斷擬合輸入，依次逐層）。在這個過程中，資料輸入到可見層，生成一個向量V，在通過權值w傳給隱藏層，得到h，由於隱藏層之間是無連線的，所以可以並行得到隱藏層所有節點值。通過隱層啟用單元和可視層輸入之間的相關性差別（通過能量函式來度量網路的穩定性，優化函式是根據求能量函式球指數後，歸一化，然後最大似然得到）就作為權值更新的主要依據。具體公式？
從單層的RBM訓練說起，可見層是用來接受輸入訊號，隱藏層用來提取特徵，RBM是通過無監督學習自動找到研究問題的最佳特徵。
（2）在 DBN 的最後一層設定 BP 網路,接收 RBM 的輸出特徵向量作為它的輸入特徵向量,有監督地訓練實體關係分類器.而且每一層 RBM 網路只能確保自身層內的 權值對該層特徵向量對映達到最優,並不是對整個 DBN 的特徵向量對映達到最優,所以反向傳播網路還將錯誤資訊自頂向下傳播至每一層 RBM,微調整個 DBN 網路.RBM 網路訓練模型的過程可以看作對一個深層 BP 網路權值引數的初始化,使DBN 克服了 BP 網路因隨機初始化權值引數而容易陷入區域性最優和訓練時間長的缺點.

轉載：
https://blog.csdn.net/u013714645/article/details/74892888
https://blog.csdn.net/NIeson2012/article/details/52184189