深度神經網路可以分為3類：

  1）前饋深度網路(feed-forwarddeep networks, FFDN)
  2）反饋深度網路(feed-back deep networks, FBDN)
  3）雙向深度網路(bi-directionaldeep networks, BDDN)

前饋深度網路(feed-forwarddeep networks, FFDN)

  由多個編碼器層疊加而成。
  在這種網路中，資訊只沿一個方向流動，從輸入單元通過一個或多個隱層到達輸出單元，在網路中沒有封閉環路。
  指的是網路的資訊流是單向的，不會構成環路。它是和“遞迴網路”(RNN)相對的概念。

  所謂的前饋是相對於迴圈模型而言的一種分類！

前饋模型的優點

  迴圈模型似乎是比前饋模型更靈活、更具表現力的模型，畢竟，前饋網路提出了強條件獨立性假設，而迴圈模型並沒有加上這樣的限制。不過即使前饋模型的表現力較差，仍有幾個原因使得研究者可能更傾向於使用前饋網路。

  並行化：卷積前饋模型在訓練時更容易並行化，不需要更新和保留隱藏狀態，因此輸出之間沒有順序依賴關係。這使得我們可以在現代硬體上非常高效地實現訓練過程。

  可訓練性：訓練深度卷積神經網路是深度學習的基本過程，而迴圈模型往往更難以訓練與優化。此外，為了有效並可靠地訓練深度前饋網路，開發人員在設計架構和軟體開發上已經付出了巨大的努力。

  推理速度：在某些情況下，前饋模型可以更輕量，並且比類似的迴圈系統更快地執行推理。在其他情況下，特別是對於長序列問題，自迴歸推理是一個很大的瓶頸，需要大量的工程工作或聰明才智去克服。"

前饋模型的缺點

  一般而言，前饋模型比迴圈模型表現更差。
  雖然看起來前饋模型的可訓練性和並行化是以降低模型準確度為代價的，但是最近有一些例子表明，前饋網路在基準任務上實際上可以達到與迴圈網路相同的精度。

主流的前饋深度網路

1）多層感知機(multi-layer perceptrons, MLP)

  單層感知機無法解決線性不可分問題(如異或操作)，這一結論將人工神經網路研究領域引入到一個低潮期，直到研究人員認識到多層感知機可解決線性不可分問題，以及反向傳播演算法與神經網路結合的研究 。

2）卷積神經網路(convolutionalneural networks, CNN)

  一般地，對於音訊輸入，特徵圖對應的是一維向量；對於視訊或立體影像，對應的是三維陣列。
  CNN與傳統ANN 演算法的主要區別在於權值共享以及非全連線。權值共享能夠避免演算法過擬合，通過拓撲結構建立層與層間非全連線空間關係來降低訓練引數的數目，同時也是CNN的基本思想。