隨著新的神經網路架構不時出現，很難跟蹤這些架構。知道所有縮寫（DCIGN，BiLSTM，DCGAN，anyone?）起初可能有點壓倒性。

所以我決定編寫一個包含許多這些體系結構的備忘單。這些大多數是神經網路，有些是完全不同的野獸。雖然所有這些體系結構都是新穎而獨特的，但是當我繪製節點結構時......它們的基本關係開始變得更有意義。

        將它們繪製為節點對映時存在一個問題：它並不真正顯示它們是如何使用的。例如，變分自動編碼器（VAE）看起來就像自動編碼器（AE），但是訓練過程實際上完全不同。訓練好的網路的用例差異更大，因為VAE是發生器，您可以在其中插入噪聲來獲取新樣本。AE，只需將他們得到的任何輸入對映到他們“記得”的最接近的訓練樣本。我應該補充一點，這個概述並沒有說明每種不同的節點型別如何在內部工作（但這是另一天的話題）。

        應該指出的是，雖然大部分縮寫都是普遍接受的，但並非全部都是。RNN有時指的是遞迴神經網路，但大多數時候他們指的是遞迴神經網路。儘管如此，在許多地方，你會發現RNN用作任何經常性架構的佔位符，包括LSTM，GRU甚至雙向變體。AE不時遇到類似問題，其中VAE和DAE等簡稱為AE。許多縮寫在最後新增的“N”數量上也有所不同，因為您可以將其稱為卷積神經網路，但也僅僅是一個卷積網路（導致CNN或CN）。

        隨著新體系結構的不斷髮明，編寫完整列表幾乎是不可能的。即使釋出它，即使你正在尋找它們，仍然會很難找到它們，或者有時候你會忽略一些。因此，儘管這份名單可能會讓你對AI的世界有所瞭解，但請絕對不要把這份名單全面化; 特別是如果你在寫這篇文章後很長時間閱讀這篇文章。

        對於圖中描繪的每個架構，我都寫了一個非常非常簡短的描述。如果您對某些體系結構非常熟悉，但是您對特定體系結構不熟悉，則可能會發現其中的一些功能非常有用。

開始

        前饋神經網路

         （FF或FFNN）和感知器（P）非常直截了當，它們將資訊從前面輸入到後面（分別為輸入和輸出）。神經網路通常被描述為具有層，其中每個層由輸入，隱藏或輸出單元並行組成。一層獨自從來沒有連線，並且通常兩個相鄰的層完全連線（每個神經元形成一層到每個神經元到另一層）。最簡單的實用網路有兩個輸入單元和一個輸出單元，可以用來建模邏輯閘。人們通常通過反向傳播來訓練FFNN，給出網路配對的“進入的內容”和“我們想要出來的內容”的資料集。這就是所謂的監督學習，相對於無監督學習，我們只給它輸入並讓網路填充空白。反向傳播的誤差通常是輸入和輸出之間差異的一些變化（如MSE或線性差異）。鑑於網路具有足夠的隱藏的神經元，它在理論上可以始終模擬輸入和輸出之間的關係。實際上，它們的使用受到很多限制，但它們普遍與其他網路結合形成新的網路。

Rosenblatt, Frank. “The perceptron: a probabilistic model for information storage and organization in the brain.” Psychological review 65.6 (1958): 386.
論文：PDF

        徑向基函式（RBF）網路

        是具有徑向基函式作為啟用函式的FFNN。沒有什麼更多。這並不意味著他們沒有他們的用途，但是大多數具有其他啟用功能的FFNN並沒有得到他們自己的名字。這主要與在正確的時間發明它們有關。

Broomhead, David S., and David Lowe. Radial basis functions, multi-variable functional interpolation and adaptive networks. No. RSRE-MEMO-4148. ROYAL SIGNALS AND RADAR ESTABLISHMENT MALVERN (UNITED KINGDOM), 1988.
論文： PDF

        Hopfield網路

       （HN）是每個神經元都與其他神經元相連的網路; 它是一個完全糾結的義大利麵板，即使所有的節點都起著一切作用。每個節點在訓練之前輸入，然後在訓練期間隱藏並在之後輸出。通過將神經元的值設定為希望的模式來訓練網路，之後可以計算權重。此後重量不會改變。一旦對一種或多種模式進行了訓練，網路就會始終聚合到其中一種學習模式，因為網路在這些狀態中僅保持穩定。請注意，它並不總是符合所需的狀態（這不是一個可悲的黑魔法框）。它的穩定部分歸因於訓練期間網路的總“能量”或“溫度”逐漸減少。每個神經元都有一個可以調節到這個溫度的啟用閾值，如果超過輸入的總和，神經元會採取兩種狀態之一（通常為-1或1，有時為0或1）。更新網路可以同步完成，也可以逐個完成。如果逐一更新，則建立一個公平的隨機序列來組織哪些細胞以什麼順序更新（公平隨機是所有選項（n）每n項發生一次）。這樣你就可以知道網路什麼時候穩定（完成收斂），一旦每個單元已經更新並且沒有更改，網路就會穩定（退火）。這些網路通常被稱為聯想記憶，因為它收斂到與輸入最相似的狀態; 如果人類看到一半的桌子，我們可以對另一半進行成像，但如果有半噪音和半桌子，這個網路將會聚合到一張桌子上。

Hopfield, John J. “Neural networks and physical systems with emergent collective computational abilities.” Proceedings of the national academy of sciences 79.8 (1982): 2554-2558.
論文： PDF

        馬爾可夫鏈

       （MC或離散時間馬爾可夫鏈，DTMC）是BM和HN的前身。他們可以理解如下：從我現在的這個節點來看，我有多大的機會去我的鄰居節點？它們是無記憶的（即馬爾科夫屬性），這意味著你最終進入的每個狀態完全取決於以前的狀態。雖然不是一個真正的神經網路，但它們確實與神經網路相似，並構成了BM和HN的理論基礎。MC並不總是被認為是神經網路，就像BM，RBM和HN一樣。馬爾可夫鏈並不總是完全連線。

Hayes, Brian. “First links in the Markov chain.” American Scientist 101.2 (2013): 252.
論文： PDF

        玻爾茲曼機器（BM）

       與HN很相似，但是：一些神經元被標記為輸入神經元，而其他神經元則被“隱藏”。輸入神經元在完整網路更新結束時變成輸出神經元。它從隨機權重開始，通過反向傳播學習，或者最近通過對比發散學習（馬爾可夫鏈被用來確定兩個資訊增益之間的梯度）。與HN相比，神經元大多具有二元啟用模式。正如MC被訓練所暗示的那樣，BM是隨機網路。BM的訓練和執行過程與HN非常相似：將輸入神經元設定為特定的鉗位值，之後網路被釋放（它不會獲得襪子）。雖然釋放細胞可以獲得任何價值，我們反覆在輸入和隱藏的神經元之間來回。啟用由全域性溫度值控制，如果降低則降低電池的能量。這種較低的能量導致其啟用模式穩定。考慮到正確的溫度，網路達到平衡。

Hinton, Geoffrey E., and Terrence J. Sejnowski. “Learning and releaming in Boltzmann machines.” Parallel distributed processing: Explorations in the microstructure of cognition 1 (1986): 282-317.
論文： PDF

        受限玻爾茲曼機器（RBM）

       與BM（驚喜）非常相​​似，因此也與HN類似。管理層和管理層之間最大的區別是，管理層管理是一種更好的可用方式，因為它們更受限制。它們不會觸發 - 將每個神經元連線到每個其他神經元，但只將每個不同組的神經元連線到每個其他組，因此沒有輸入神經元直接連線到其他輸入神經元，也沒有隱藏到隱藏連線。RBM可以像扭曲一樣被FFNNs訓練：不是向前傳遞資料然後向後傳播，而是向前傳遞資料，然後向後傳遞資料（返回到第一層）。之後，您將訓練前後傳播。

Smolensky, Paul. Information processing in dynamical systems: Foundations of harmony theory. No. CU-CS-321-86. COLORADO UNIV AT BOULDER DEPT OF COMPUTER SCIENCE, 1986.
論文： PDF

        自動編碼器（AE）

       有點類似於FFNN，因為AE更像是FFNN的不同用途，而不是根本不同的架構。自動編碼器的基本思想是自動編碼資訊（如壓縮，不加密），因此名稱。整個網路總是類似於沙漏形狀，隱藏層比輸入和輸出層小。AE也總是在中間層周圍是對稱的（一個或兩個取決於偶數層或奇數層）。最小的層幾乎總是在中間，資訊被壓縮得最多的地方（網路的阻塞點）。到中間的所有東西都被稱為編碼部分，解碼和中間（驚喜）程式碼之後的所有東西都被稱為編碼部分。人們可以通過反饋傳播訓練他們，通過餵養輸入並將錯誤設定為輸入和輸出之間的差異。當涉及權重時，AE也可以對稱地構建，因此編碼權重與解碼權重相同。

Bourlard, Hervé, and Yves Kamp. “Auto-association by multilayer perceptrons and singular value decomposition.” Biological cybernetics 59.4-5 (1988): 291-294.
論文： PDF

        稀疏自動編碼器（SAE）

       與AE相反。我們試圖在更多的空間中對資訊進行編碼，而不是通過教授網路來代表一堆資訊在更少的“空間”或節點中。因此，不是網路在中間收斂，而是擴大到輸入大小，我們炸掉了中間。這些型別的網路可用於從資料集中提取許多小特徵。如果有人像AE一樣訓練SAE，幾乎在所有情況下，最終都會有一個非常無用的身份網路（就像出現的那樣，沒有任何轉換或分解）。為了防止這種情況，我們不是反饋輸入，而是反饋輸入加稀疏驅動程式。這個稀疏驅動程式可以採用閾值過濾器的形式，其中只有特定的錯誤被傳回並訓練，另一個錯誤將是“無關緊要”，並設定為零。在某種程度上，這類似於峰值神經網路，並不是所有的神經元始終都在發射（並且點的生物合理性得分）。

Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra, and Yann LeCun. “Efficient learning of sparse representations with an energy-based model.” Proceedings of NIPS. 2007.
論文： PDF

        變分自編碼器（VAE）

       具有與AE相同的體系結構，但是“教授”了其他內容：輸入樣本的近似概率分佈。這有點回歸根源，因為它們與BM和RBM更密切相關。然而，他們確實依賴貝葉斯數學有關概率推理和獨立性，以及實現這種不同表示的重新引數化技巧。推理和獨立部分直觀地理解，但他們依賴於有些複雜的數學。基本要歸結為：考慮到影響。如果一件事發生在一個地方，而其他地方發生了其他事情，它們不一定是相關的。如果它們不相關，那麼錯誤傳播應該考慮這一點。這是一個有用的方法，因為神經網路是大圖（某種程度上），所以如果您可以排除某些節點對其他節點的影響，就可以幫助您深入到更深的層次。

Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013).
論文： PDF

     去噪自動編碼器（DAE）

       是我們不僅僅輸入輸入資料的AE，但是我們為輸入資料提供了噪聲（如使影象更加粗糙）。我們以相同的方式計算誤差，所以網路的輸出與沒有噪聲的原始輸入進行比較。這鼓勵網路不去學習細節，而是學習更廣泛的功能，因為學習較小的功能通常會因為噪聲不斷變化而變得“錯誤”。

Vincent, Pascal, et al. “Extracting and composing robust features with denoising autoencoders.” Proceedings of the 25th international conference on Machine learning. ACM, 2008.
論文： PDF

        深度信念網路（DBN）

       是大多數RBM或VAE的堆疊體系結構的名稱。這些網路已被證明是可以有效訓練的堆疊，其中每個AE或RBM只需要學習編碼以前的網路。這種技術也被稱為貪婪訓練，其中貪婪意味著使區域性最優解得到一個體面的但可能不是最佳答案。DBN可以通過對比分歧或反向傳播進行訓練，並學習將資料表示為概率模型，就像常規RBM或VAE一樣。一旦通過無監督學習訓練或融合到（更多）穩定狀態，模型可用於生成新資料。如果採用對比分歧進行訓練，它甚至可以對現有資料進行分類，因為已經教會神經元尋找不同的特徵。

Bengio, Yoshua, et al. “Greedy layer-wise training of deep networks.” Advances in neural information processing systems 19 (2007): 153.
論文： PDF

        卷積神經網路（CNN）

       （CNN或深度卷積神經網路，DCNN）與大多數其他網路完全不同。它們主要用於影象處理，但也可用於其他型別的輸入，如音訊。

        CNN的一個典型使用案例是您提供網路影象的位置，網路對資料進行分類，例如，如果您給它一張貓照片，則會輸出“貓”，當您給它一張狗照片時會輸出“狗”。

        CNN傾向於以輸入“掃描器”開始，該輸入“掃描器”不是一次性解析所有訓練資料。例如，要輸入200 x 200畫素的影象，您不需要具有40 000個節點的圖層。相反，您建立了一個掃描輸入圖層，例如20 x 20，您輸入影象的前20 x 20畫素（通常從左上角開始）。一旦您通過了該輸入（並可能將其用於訓練），您就可以為其提供接下來的20 x 20畫素：將掃描器向右移動一個畫素。請注意，您不會將輸入的20畫素（或任何掃描器寬度）移動過來，您不會將影象解剖為20 x 20的塊，而是您正在爬過它。然後，這個輸入資料通過卷積層而不是普通層傳送，其中並非所有節點都連線到所有節點。每個節點只關注緊密相鄰的單元（關閉程度取決於實現，但通常不會超過幾個）。這些卷積層也隨著它們變得更深而趨於收縮，主要是由輸入的易分解因素（所以20可能會到達10層，然後是5層）。兩者的能力在這裡非常常用，因為它們可以根據定義完整地分割：32,16,8,4,2,1。除了這些卷積層之外，它們還經常具有池化層。

        池化是過濾細節的一種方式：常見的池化技術是最大池化，在這裡我們取2 x 2畫素並傳遞最多量的紅色畫素。要將CNN應用於音訊，您基本上需要逐段輸入輸入音訊波形和英寸長度。現實世界的CNN實現通常會將FFNN貼上到最後以進一步處理資料，這允許高度非線性的抽象。這些網路被稱為DCNN，但這兩個網路之間的名稱和縮寫經常互換使用。

        現實世界的CNN實現通常會將FFNN貼上到最後以進一步處理資料，這允許高度非線性的抽象。這些網路被稱為DCNN，但這兩個網路之間的名稱和縮寫經常互換使用。現實世界的CNN實現通常會將FFNN貼上到最後以進一步處理資料，這允許高度非線性的抽象。這些網路被稱為DCNN，但這兩個網路之間的名稱和縮寫經常互換使用。

LeCun, Yann, et al. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE 86.11 (1998): 2278-2324.
論文： PDF

        解卷積網路（DN）

       也稱為反向圖形網路（IGN），是反捲積神經網路。想象一下，給網路喂“貓”這個詞，並通過比較它產生的真實照片與貓一起訓練它來產生類似貓的照片。DNN可以像常規的CNN一樣與FFNN結合使用，但是這是關於繪製線條以提供新縮寫的點。他們可能被稱為深層去卷積神經網路，但你可能會爭辯說，當你將FFNN貼上到DNN的後面和前面時，你還有另一個值得一個新名字的體系結構。請注意，在大多數應用程式中，實際上不會向網路輸入類似文字的輸入，更可能是二進位制分類輸入向量。認為<0，1>是貓，<1,0>是狗，<1，1>是貓和狗。

Zeiler, Matthew D., et al. “Deconvolutional networks.” Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010.
論文：PDF

        深卷積逆向圖形網路（DCIGN）

       的名稱有些誤導，因為它們實際上是VAE，但是針對各自的編碼器和解碼器使用了CNN和DNN。這些網路試圖在編碼中將“特徵”建模為概率，以便它可以學習與貓和狗一起製作一張圖片，而且只能在兩張圖片中看到其中的一張。同樣，你可以餵它一張貓的照片，讓你的鄰居的惱人的狗在上面，並要求它把狗取出，而不用做這樣的操作。演示表明，這些網路還可以學習如何對影象進行復雜轉換，例如更改光源或3D物件的旋轉。這些網路傾向於用反向傳播進行訓練。

Kulkarni, Tejas D., et al. “Deep convolutional inverse graphics network.” Advances in Neural Information Processing Systems. 2015.
論文： PDF

        生成對抗網路（GAN）

       來自不同品種的網路，他們是雙胞胎：兩個網路一起工作。GAN由任何兩個網路組成（儘管通常是FF和CNN的組合），其中一個負責生成內容，另一個負責判斷內容。鑑別網路接收來自生成網路的訓練資料或生成的內容。區分網路如何能夠正確預測資料來源，然後將其用作生成網路的錯誤的一部分。這就形成了一種競爭形式，鑑別者在區分實際資料和生成資料方面越來越好，而生成者正在學習對鑑別器的預測能力降低。這部分工作的部分原因是，即使非常複雜的類噪音模式最終可預測，但生成的內容與輸入資料相似的內容更難以區分。GAN可能很難訓練，因為你不僅需要訓練兩個網路（這兩個網路都會造成它自己的問題），但它們的動態也需要平衡。如果預測或生成與另一個相比變得更好，則GAN將不會收斂，因為存在內在分歧。

Goodfellow, Ian, et al. “Generative adversarial nets.” Advances in Neural Information Processing Systems. 2014.
論文： PDF

        遞迴神經網路（RNN）

       是時間扭曲的FFNN：他們不是無國籍的; 他們之間有通過連線，通過時間連線。神經元的資訊不僅來自上一層，而且來自前一層的資訊。這意味著您輸入飼料和訓練網路的順序很重要：與餵養“餅乾”和“牛奶”相比，餵養它“牛奶”然後“餅乾”可能會產生不同的結果。RNN的一個大問題是消失（或爆炸）梯度問題，其中根據所使用的啟用函式，資訊會隨著時間的推移而迅速丟失，就像非常深的FFNN深度丟失資訊一樣。直觀地說，這不會成為一個問題，因為這些只是權重而不是神經元狀態，但時間間隔的權重實際上是來自過去的資訊的儲存位置; 如果重量達到0或1 000 000的值，以前的狀態將不會提供很多資訊。RNN原則上可以用於很多領域，因為大多數形式的資料實際上沒有時間線（即，不同於聲音或視訊）可以表示為序列。一張圖片或一串文字可以一次輸入一個畫素或字元，因此時間相關的權重用於序列中之前的內容，而不是實際上與之前X秒內發生的內容相關。一般而言，經常性網路是推進或完成資訊的良好選擇，例如自動完成。一張圖片或一串文字可以一次輸入一個畫素或字元，因此時間相關的權重用於序列中之前的內容，而不是實際上與之前X秒內發生的內容相關。一般而言，經常性網路是推進或完成資訊的良好選擇，例如自動完成。一張圖片或一串文字可以一次輸入一個畫素或字元，因此時間相關的權重用於序列中之前的內容，而不是實際上與之前X秒內發生的內容相關。一般而言，經常性網路是推進或完成資訊的良好選擇，例如自動完成。

Elman, Jeffrey L. “Finding structure in time.” Cognitive science 14.2 (1990): 179-211.
論文： PDF

        長期/短期記憶（LSTM）

       網路試圖通過引入門和明確定義的儲存器單元來對抗消失/爆炸梯度問題。這些靈感主要來自電路，而不是生物學。每個神經元都有一個儲存單元和三個門：輸入，輸出和忘記。這些門的功能是通過停止或允許資訊流來保護資訊。輸入門決定了來自上一層的多少資訊儲存在單元中。輸出層在另一端獲取作業，並確定下一層有多少知道該單元的狀態。忘記門起初看起來像是一個奇怪的包容，但有時候忘記是很好的：如果它正在學習一本書並開始新的一章，那麼網路可能需要忘記前一章中的一些字元。已經證明LSTM能夠學習複雜的序列，例如像莎士比亞的寫作或者創作原始音樂。請注意，這些門中的每一個都對前一個神經元中的一個單元具有權重，因此它們通常需要更多資源才能執行。

Hochreiter, Sepp, and Jürgen Schmidhuber. “Long short-term memory.” Neural computation 9.8 (1997): 1735-1780.
論文： PDF

        門控復發單位（GRU）

       在LSTMs上略有差異。他們有一個門少一些，連線方式稍有不同：他們有一個更新門，而不是輸入，輸出和忘記門。這個更新門決定了從最後一個狀態開始保留多少資訊以及從上一個層開始輸入多少資訊。復位門的功能與LSTM的忘記門非常相似，但位置稍有不同。他們總是發出完整的狀態，他們沒有輸出門。在大多數情況下，它們的功能與LSTM非常相似，最大的不同之處在於GRU稍快並且更容易執行（但也稍遜於表達）。在實踐中，這些往往會互相抵消，因為你需要一個更大的網路來重新獲得一些表現力，然後消除表現的好處。

Chung, Junyoung, et al. “Empirical evaluation of gated recurrent neural networks on sequence modeling.” arXiv preprint arXiv:1412.3555 (2014).
論文： PDF

        神經圖靈機（NTM）

         可以理解為LSTM的一種抽象，也是一種嘗試使用非黑箱神經網路的方法（並且讓我們瞭解那裡正在發生的事情）。不是直接將儲存器單元編碼到神經元中，而是將儲存器分開。它試圖將常規數字儲存的效率和永久性與神經網路的效率和表現力結合起來。這個想法是有一個內容定址儲存庫和一個可以讀寫的神經網路。神經圖靈機中的“圖靈”來自它們的圖靈完整性：根據讀取的內容讀取和寫入並改變狀態的能力意味著它可以代表通用圖靈機可以表示的任何東西。

Graves, Alex, Greg Wayne, and Ivo Danihelka. “Neural turing machines.” arXiv preprint arXiv:1410.5401 (2014).
論文：PDF

        雙向遞迴神經網路

       雙向長期/短期記憶網路和雙向門控迴圈單元（分別為BiRNN，BiLSTM和BiGRU）不會顯示在圖表上，因為它們看起來與單向同行完全一樣。不同之處在於，這些網路不僅與過去相連，而且與未來相連。舉例來說，單向LSTMs可能會被訓練成通過逐字地輸入字母來預測單詞“fish”，其中通過時間的迴圈連線記住最後一個值。一個BiLSTM也將被送入下一個順序中的下一個字母，讓它訪問未來的資訊。這訓練網路來填補空白，而不是推進資訊，所以不是在邊緣上展開影象，而是在影象的中間填充一個洞。

Schuster, Mike, and Kuldip K. Paliwal. “Bidirectional recurrent neural networks.” IEEE Transactions on Signal Processing 45.11 (1997): 2673-2681.
論文： PDF

        深度剩餘網路（DRN）

       是非常深的FFNN，具有額外的連線，將輸入從一個層傳遞到後一層（通常是2到5層）以及下一層。而不是試圖找到一個解決方案來將某些輸入對映到某個輸出，例如5層，網路就會強制學習將某些輸入對映到某些輸出+某些輸入。基本上，它為解決方案增加了一個標識，將舊的輸入傳送給後面的一層。已經證明，這些網路在學習深達150層的模式方面非常有效，遠遠超過人們可以期望訓練的常規2至5層。然而，已經證明，這些網路本質上只是RNN而沒有明確的基於時間的構造，並且它們通常與沒有門的LSTM相比較。

He, Kaiming, et al. “Deep residual learning for image recognition.” arXiv preprint arXiv:1512.03385 (2015).
論文： PDF

        回聲狀態網路（ESN）

       是另一種不同型別的（經常性）網路。這個人通過神經元之間的隨機連線（即沒有組織成整齊的層）來區別於他人，並且他們受到不同的訓練。我們提供輸入，轉發它並更新神經元一段時間，然後觀察隨著時間的推移輸出，而不是餵養輸入和反向傳播錯誤。輸入層和輸出層具有輕微非常規的作用，因為輸入層用於啟動網路，輸出層充當隨時間展開的啟用模式的觀察者。在訓練期間，只有觀察者和隱藏單位（的湯）之間的聯絡被改變。

Jaeger, Herbert, and Harald Haas. “Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication.” science 304.5667 (2004): 78-80.
論文： PDF

極限學習機（ELM）

       基本上是FFNN，但具有隨機連線。它們看起來與LSM和ESN非常相似，但它們不是經常性的，也不是尖銳的。他們也不使用反向傳播。相反，他們從隨機權重開始，根據最小二乘法擬合（所有函式的最小誤差），在一個步驟中訓練權重。這導致了一個表達性較差的網路，但它也比反向傳播快得多。

Cambria, Erik, et al. “Extreme learning machines [trends & controversies].” IEEE Intelligent Systems 28.6 (2013): 30-59.
論文： PDF

        液態機器（LSM）

       是類似的困境，看起來很像ESN。真正的區別在於LSMs是一種尖峰神經網路：乙狀結腸啟用被閾值函式替代，每個神經元也是一個累積的記憶細胞。所以當更新神經元時，該值不會被設定為鄰居的總和，而是被新增到自身中。一旦達到閾值，它釋放其能量給其他神經元。這會產生一個像圖案一樣的尖峰，在一段時間內沒有任何事情發生，直到突然達到閾值。

Maass, Wolfgang, Thomas Natschläger, and Henry Markram. “Real-time computing without stable states: A new framework for neural computation based on perturbations.” Neural computation 14.11 (2002): 2531-2560.
論文：PDF

        支援向量機（SVM）

       找到分類問題的最佳解決方案。通常他們只能對線性可分資料進行分類; 說找出哪些影象是加菲貓和哪些是史努比，其他任何結果都不可能。在訓練過程中，SVM可以被認為是將所有資料（Garfields和Snoopys）繪製在圖形上（2D），並計算出如何在資料點之間繪製一條線。這條線將分開資料，以便所有的Snoopys都在一邊，Garfields在另一邊。這條線以這樣的方式移動到最佳線，即資料點和線之間的邊緣在兩側都是最大化的。對新資料進行分類可以通過繪製該圖上的一個點來完成，並簡單地檢視該線的哪一側（史努比側或加菲爾德側）。使用核心技巧，可以教他們對n維資料進行分類。這需要在三維圖中繪製點，以便區分史努比，加菲貓和西蒙的貓，甚至可以區分更多的卡通角色。SVM並不總是被認為是神經網路。

Cortes, Corinna, and Vladimir Vapnik. “Support-vector networks.” Machine learning 20.3 (1995): 273-297.
論文： PDF

Kohonen網路

       KN，也是自組織（特徵）地圖，SOM，SOFM，  “完成”我們的動物園。KNs利用競爭性學習在沒有監督的情況下分類資料。將輸入呈現給網路，然後網路評估其神經元中哪個神經元與該輸入最匹配。然後調整這些神經元以更好地匹配輸入，並在過程中沿著它們的鄰居拖曳。鄰居移動多少取決於鄰居到最佳匹配單元的距離。KN有時不被視為神經網路。

Kohonen, Teuvo. “Self-organized formation of topologically correct feature maps.” Biological cybernetics 43.1 (1982): 59-69.
論文： PDF

任何反饋和批評都是受歡迎的。在阿西莫夫研究所，我們進行深入的學習研究和開發，所以請務必在twitter上關注我們以便將來更新和釋出！感謝您的閱讀！

原文：http://www.asimovinstitute.org/neural-network-zoo/