深度學習基礎--不同網路種類--CapsNet
CapsNet
Geoffrey Hinton在2017年提出的CapsNet,有望在新的一年裡超越卷積神經網路(CNN)。與CNN相比,CapsNet彌補了不少缺陷,比如資料量、準確度、訓練資料多樣性等等,效能更好。 CapsNet有方向的概念(向量),所以當嘴巴在眼睛上面時可以發現錯誤。
相關推薦
深度學習基礎--不同網路種類--CapsNet
CapsNet Geoffrey Hinton在2017年提出的CapsNet,有望在新的一年裡超越卷積神經網路(CNN)。與CNN相比,CapsNet彌補了不少缺陷,比如資料量、準確度、訓練資料多樣性等等,效能更好。 CapsNet有方向的概念(向量)
深度學習基礎--不同網路種類--前饋深度網路(feed-forwarddeep networks, FFDN)
深度神經網路可以分為3類: 1)前饋深度網路(feed-forwarddeep networks, FFDN) 2)反饋深度網路(feed-back deep networks, FBDN) 3)雙向深度網路(bi-directionaldeep networks, BDDN
深度學習基礎--不同網路種類--Highway Network
Highway Network 受LSTM啟發,增加了一個門函式,讓網路的輸出由兩部分組成,分別是網路的直接輸入以及輸入變形後的部分。 假設定義一個非線性變換為y=H(x,W_h),定義門函式T(x,W_t),攜帶函式C(x,W_c)=1-T(x,W_t)。對於門函式取極端的情況
深度學習基礎--不同網路種類--前饋深度網路
深度神經網路可以分為3類: 1)前饋深度網路(feed-forwarddeep networks, FFDN) 2)反饋深度網路(feed-back deep networks, FBDN) 3)雙向深度網路(bi-directionaldeep n
深度學習基礎--不同網路種類--反饋深度網路(feed-back deep networks, FBDN)
深度神經網路可以分為3類: 1)前饋深度網路(feed-forwarddeep networks, FFDN) 2)反饋深度網路(feed-back deep networks, FBDN) 3)雙向深度網路(bi-directionaldeep n
深度學習基礎--不同網路種類--雙向深度網路(bi-directionaldeep networks, BDDN)
深度神經網路可以分為3類: 1)前饋深度網路(feed-forwarddeep networks, FFDN) 2)反饋深度網路(feed-back deep networks, FBDN) 3)雙向深度網路(bi-directionaldeep n
深度學習基礎--不同網路種類--多層感知機MLP
多層感知機MLP BP演算法的方面掀起了基於統計模型的機器學習熱潮,那時候人工神經網路被叫做“多層感知機” 可以擺脫早期離散傳輸函式的束縛,使用sigmoid或tanh等連續函式模擬神經元對激勵的響應,在訓練演算法上則使用Werbos發明的反向傳播B
深度學習基礎--不同網路種類--
DNN 全連線DNN的結構裡下層神經元和所有上層神經元都能夠形成連線,帶來的潛在問題是引數數量的膨脹;另外,影象中有固有的區域性模式(比如輪廓、邊界,人的眼睛、鼻子、嘴等)可以利用。
深度學習基礎--不同網路種類--RNN
RNN 全連線的DNN存在著一個問題——無法對時間序列上的變化進行建模。然而,樣本出現的時間順序對於自然語言處理、語音識別、手寫體識別等應用非常重要。對了適應這種需求,出現了另一種神經網路結構——迴圈神經網路RNN。 神經元的輸出可以在下一個時間戳直接作
深度學習基礎--不同網路種類--PCANet
PCANet 優缺點 優點:快 缺點:對於複雜的影象,效果差。 主要思想 2016年的中國人提出的。 這個框架主要依賴幾個基本的資料處理方法:1)主成分分析PCA。2)二值化雜湊編碼。3)分塊直方圖。 這個框架中的整體流程:首先通過PCA方
深度學習基礎--不同網路種類--深度置信網路(DBN)
深度置信網路(DBN) RBM的作用就是用來生成似然分佈的互補先驗分佈,使得其後驗分佈具有因子形式。 因此,DBN演算法解決了Wake-Sleep演算法表示分佈難以匹配生成分佈的難題,通過RBM使得訓練資料的生成分佈具有因子形式,從而提高了學習效率。
深度學習基礎--不同網路種類--可微分程式設計;Differentiable Programming
可微分程式設計;Differentiable Programming lecun說"深度學習已死,可微分程式設計萬歲!",即深度學習這個詞已死,該有新的名詞可微分程式設計來替代它了。 深度學習的本質是可微分程式設計,那麼,就把神經網路當函式用吧! 一
深度學習基礎--不同網路種類--residual/ResNet
residual/ResNet 眾所周知,網路的效能與深度息息相關。如果在一個淺層網路A上疊加幾層layer形成網路B,如果這些新新增的layer是Identity mapping(權值矩陣全是單位矩陣?),那麼網路B效能至少不會比A差。但是實際實驗結果卻顯
深度學習基礎--不同網路種類--VGG(visual geometry group,超解析度測試序列)
VGG(visual geometry group,超解析度測試序列) test過程 採用multi-scale輸入尺寸的形式(輸入尺寸介於[256:512]),具體執行流程如下: 1)採用不同規格的圖片作為輸入(4種或6種規格); 2)最後一個ma
深度學習基礎--不同網路種類--尖峰神經網路/脈衝神經網路(spiking neural network, snn)
尖峰神經網路/脈衝神經網路(spiking neural network, snn) 是三代神經網路模型,屬於計算神經科學,動物的神經網路大多是脈衝神經網路。 資料不多,而且大多是外文 本來想用它處理音訊事件的,看了一段時間後發現,就目前而且,它好像
深度學習基礎--卷積神經網路的不變性
卷積神經網路的不變性 不變性的實現主要靠兩點:大量資料(各種資料);網路結構(pooling) 不變性的型別 1)平移不變性 卷積神經網路最初引入區域性連線和空間共享,就是為了滿足平移不變性。 關於CNN中的平移不變性的來源有多種假設。 一個想法是平移不變性
深度學習基礎--前饋模型/前饋網路
前饋模型/前饋網路 所謂的前饋是相對於迴圈模型而言的一種分類! 前饋模型的優點 迴圈模型似乎是比前饋模型更靈活、更具表現力的模型,畢竟,前饋網路提出了強條件獨立性假設,而迴圈模型並沒有加上這樣的限制。不過即使前饋模型的表現力較差,仍有幾個原因使得研究者可能更傾向於使用前饋
(轉載)深度學習基礎(3)——神經網路和反向傳播演算法
原文地址:https://www.zybuluo.com/hanbingtao/note/476663 轉載在此的目的是自己做個筆記,日後好複習,如侵權請聯絡我!! 在上一篇文章中,我們已經掌握了機器學習的基本套路,對模型、目標函式、優化演算法這些概念有了一定程度的理解,而且已經會訓練單個的感知器或者
(轉載)深度學習基礎(7)——遞迴神經網路
原文地址:https://zybuluo.com/hanbingtao/note/626300 轉載在此的目的是自己做個筆記,日後好複習,如侵權請聯絡我!! 在前面的文章中,我們介紹了迴圈神經網路,它可以用來處理包含序列結構的資訊。然而,除此之外,資訊往往還存在著諸如樹結構、圖結構等更復雜的結構。對於
【深度學習基礎1】神經網路基礎--邏輯迴歸
本博文根據 coursera 吳恩達 深度學習整理。作為理解神經網路的基礎。 一、知識點 深度學習本質上是對資料的一種擬合。使用非線性的函式集合作為模型,對樣本對進行損失最小的模擬。首先理解單個神經元的作用和原理,可以從