深度學習基礎--不同網路種類--
DNN
全連線DNN的結構裡下層神經元和所有上層神經元都能夠形成連線，帶來的潛在問題是引數數量的膨脹；另外，影象中有固有的區域性模式(比如輪廓、邊界，人的眼睛、鼻子、嘴等)可以利用。
相關推薦
深度學習基礎--不同網路種類--前饋深度網路(feed-forwarddeep networks, FFDN)
深度神經網路可以分為3類： 1）前饋深度網路(feed-forwarddeep networks, FFDN) 2）反饋深度網路(feed-back deep networks, FBDN) 3）雙向深度網路(bi-directionaldeep networks, BDDN
深度學習基礎--不同網路種類--Highway Network
Highway Network 受LSTM啟發，增加了一個門函式，讓網路的輸出由兩部分組成，分別是網路的直接輸入以及輸入變形後的部分。 假設定義一個非線性變換為y=H(x,W_h)，定義門函式T(x,W_t)，攜帶函式C(x,W_c)=1-T(x,W_t)。對於門函式取極端的情況
深度學習基礎--不同網路種類--前饋深度網路
深度神經網路可以分為3類： 1）前饋深度網路(feed-forwarddeep networks, FFDN) 2）反饋深度網路(feed-back deep networks, FBDN) 3）雙向深度網路(bi-directionaldeep n
深度學習基礎--不同網路種類--反饋深度網路(feed-back deep networks, FBDN)
深度神經網路可以分為3類： 1）前饋深度網路(feed-forwarddeep networks, FFDN) 2）反饋深度網路(feed-back deep networks, FBDN) 3）雙向深度網路(bi-directionaldeep n
深度學習基礎--不同網路種類--雙向深度網路(bi-directionaldeep networks, BDDN)
深度神經網路可以分為3類： 1）前饋深度網路(feed-forwarddeep networks, FFDN) 2）反饋深度網路(feed-back deep networks, FBDN) 3）雙向深度網路(bi-directionaldeep n
深度學習基礎--不同網路種類--多層感知機MLP
多層感知機MLP BP演算法的方面掀起了基於統計模型的機器學習熱潮，那時候人工神經網路被叫做“多層感知機” 可以擺脫早期離散傳輸函式的束縛，使用sigmoid或tanh等連續函式模擬神經元對激勵的響應，在訓練演算法上則使用Werbos發明的反向傳播B
深度學習基礎--不同網路種類--
DNN 全連線DNN的結構裡下層神經元和所有上層神經元都能夠形成連線，帶來的潛在問題是引數數量的膨脹；另外，影象中有固有的區域性模式(比如輪廓、邊界，人的眼睛、鼻子、嘴等)可以利用。
深度學習基礎--不同網路種類--RNN
RNN 全連線的DNN存在著一個問題——無法對時間序列上的變化進行建模。然而，樣本出現的時間順序對於自然語言處理、語音識別、手寫體識別等應用非常重要。對了適應這種需求，出現了另一種神經網路結構——迴圈神經網路RNN。 神經元的輸出可以在下一個時間戳直接作
深度學習基礎--不同網路種類--PCANet
PCANet 優缺點 優點：快 缺點：對於複雜的影象，效果差。 主要思想 2016年的中國人提出的。 這個框架主要依賴幾個基本的資料處理方法：1）主成分分析PCA。2）二值化雜湊編碼。3）分塊直方圖。 這個框架中的整體流程：首先通過PCA方
深度學習基礎--不同網路種類--深度置信網路(DBN)
深度置信網路(DBN) RBM的作用就是用來生成似然分佈的互補先驗分佈，使得其後驗分佈具有因子形式。 因此，DBN演算法解決了Wake-Sleep演算法表示分佈難以匹配生成分佈的難題，通過RBM使得訓練資料的生成分佈具有因子形式，從而提高了學習效率。
深度學習基礎--不同網路種類--CapsNet
CapsNet Geoffrey Hinton在2017年提出的CapsNet，有望在新的一年裡超越卷積神經網路(CNN)。與CNN相比，CapsNet彌補了不少缺陷，比如資料量、準確度、訓練資料多樣性等等，效能更好。 CapsNet有方向的概念(向量)
深度學習基礎--不同網路種類--可微分程式設計；Differentiable Programming
可微分程式設計；Differentiable Programming lecun說"深度學習已死，可微分程式設計萬歲！",即深度學習這個詞已死，該有新的名詞可微分程式設計來替代它了。 深度學習的本質是可微分程式設計，那麼，就把神經網路當函式用吧！ 一
深度學習基礎--不同網路種類--residual/ResNet
residual/ResNet 眾所周知，網路的效能與深度息息相關。如果在一個淺層網路A上疊加幾層layer形成網路B，如果這些新新增的layer是Identity mapping（權值矩陣全是單位矩陣？），那麼網路B效能至少不會比A差。但是實際實驗結果卻顯
深度學習基礎--不同網路種類--VGG(visual geometry group，超解析度測試序列)
VGG(visual geometry group，超解析度測試序列) test過程 採用multi-scale輸入尺寸的形式（輸入尺寸介於[256:512]），具體執行流程如下： 1）採用不同規格的圖片作為輸入（4種或6種規格）； 2）最後一個ma
深度學習基礎--不同網路種類--尖峰神經網路/脈衝神經網路(spiking neural network, snn)
尖峰神經網路/脈衝神經網路(spiking neural network, snn) 是三代神經網路模型，屬於計算神經科學，動物的神經網路大多是脈衝神經網路。 資料不多，而且大多是外文 本來想用它處理音訊事件的，看了一段時間後發現，就目前而且，它好像
深度學習基礎--卷積神經網路的不變性
卷積神經網路的不變性 不變性的實現主要靠兩點：大量資料（各種資料）；網路結構（pooling） 不變性的型別 1）平移不變性 卷積神經網路最初引入區域性連線和空間共享，就是為了滿足平移不變性。 關於CNN中的平移不變性的來源有多種假設。 一個想法是平移不變性
深度學習基礎--前饋模型/前饋網路
前饋模型/前饋網路 所謂的前饋是相對於迴圈模型而言的一種分類！ 前饋模型的優點 迴圈模型似乎是比前饋模型更靈活、更具表現力的模型，畢竟，前饋網路提出了強條件獨立性假設，而迴圈模型並沒有加上這樣的限制。不過即使前饋模型的表現力較差，仍有幾個原因使得研究者可能更傾向於使用前饋
（轉載）深度學習基礎（3）——神經網路和反向傳播演算法
原文地址：https://www.zybuluo.com/hanbingtao/note/476663 轉載在此的目的是自己做個筆記，日後好複習，如侵權請聯絡我！！ 在上一篇文章中，我們已經掌握了機器學習的基本套路，對模型、目標函式、優化演算法這些概念有了一定程度的理解，而且已經會訓練單個的感知器或者
（轉載）深度學習基礎（7）——遞迴神經網路
原文地址：https://zybuluo.com/hanbingtao/note/626300 轉載在此的目的是自己做個筆記，日後好複習，如侵權請聯絡我！！ 在前面的文章中，我們介紹了迴圈神經網路，它可以用來處理包含序列結構的資訊。然而，除此之外，資訊往往還存在著諸如樹結構、圖結構等更復雜的結構。對於
【深度學習基礎1】神經網路基礎--邏輯迴歸
本博文根據 coursera 吳恩達 深度學習整理。作為理解神經網路的基礎。 一、知識點 深度學習本質上是對資料的一種擬合。使用非線性的函式集合作為模型，對樣本對進行損失最小的模擬。首先理解單個神經元的作用和原理，可以從