1. 程式人生 > 實用技巧 >圖解3種常見的深度學習網路結構:FC、CNN、RNN

圖解3種常見的深度學習網路結構:FC、CNN、RNN


導讀:深度學習可以應用在各大領域中,根據應用情況的不同,深度神經網路的形態也各不相同。

常見的深度學習模型主要有全連線(Fully Connected,FC)網路結構卷積神經網路(Convolutional Neural Network,CNN)和迴圈神經網路(Recurrent Neural Network,RNN)。

它們均有著自身的特點,在不同的場景中發揮著重要作用。本文將為讀者介紹三種模型的基本概念以及它們各自適用的場景。

作者:劉祥龍 楊晴虹 胡曉光 於佃海 白浩傑深度學習技術及應用國家工程實驗室百度技術學院

來源:大資料DT(ID:hzdashuju)

01 全連線網路結構

全連線(FC

)網路結構是最基本的神經網路/深度神經網路層,全連線層的每一個節點都與上一層的所有節點相連。

全連線層在早期主要用於對提取的特徵進行分類,然而由於全連線層所有的輸出與輸入都是相連的,一般全連線層的引數是最多的,這需要相當數量的儲存和計算空間。

引數的冗餘問題使單純的FC組成的常規神經網路很少會被應用於較為複雜的場景中。常規神經網路一般用於依賴所有特徵的簡單場景,比如說房價預測模型和線上廣告推薦模型使用的都是相對標準的全連線神經網路。FC組成的常規神經網路的具體形式如圖2-7所示。

▲圖2-7 FC組成的常規神經網路

02 卷積神經網路

卷積神經網路(CNN)是一種專門用來處理具有類似網格結構的資料的神經網路,如影象資料(可以看作二維的畫素網格)。與FC不同的地方在於,CNN的上下層神經元並不都能直接連線,而是通過“卷積核”作為中介,通過“核”的共享大大減少了隱藏層的引數。

簡單的CNN是一系列層,並且每個層都通過一個可微函式將一個量轉化為另一個量,這些層主要包括卷積層(Convolutional Layer)、池化層(Pooling Layer)和全連線層(FC Layer)。

卷積網路在諸多應用領域都有很好的應用效果,特別是在大型影象處理的場景中表現得格外出色。圖2-8展示了CNN的結構形式,一個神經元以三維排列組成卷積神經網路(寬度、高度和深度),如其中一個層展示的那樣,CNN的每一層都將3D的輸入量轉化成3D的輸出量。

▲圖2-8 CNN的結構形式

03 迴圈神經網路

迴圈神經網路(RNN)也是常用的深度學習模型之一(如圖2-9所示),就像CNN是專門用於處理網格化資料(如一個影象)的神經網路,RNN是一種用於處理序列資料的神經網路。

如音訊中含有時間成分,因此音訊可以被表示為一維時間序列;語言中的單詞都是逐個出現的,因此語言的表示方式也是序列資料。RNN在機器翻譯、語音識別等領域中均有非常好的表現。

▲圖2-9簡單的RNN結構

關於作者:劉祥龍,副教授,博士生導師,現任職於北京航空航天大學軟體開發環境國家重點實驗室,主要研究大資料檢索、大規模視覺分析、可信賴深度學習等。

楊晴虹,博士,中科院系列高階工程師,北航軟體學院人工智慧專業主講教師,美國南康涅狄格州立大學圖書資訊科學訪問學者,美國耶魯大學技術創新實驗室資料分析專家。

胡曉光,百度傑出研發架構師,10餘年自然語言處理研發經驗,參與的機器翻譯專案獲得國家科技進步二等獎,現負責飛槳核心訓練框架和模型演算法的研發,致力於打造最好用的深度學習平臺。

於佃海,百度深度學習平臺飛槳(PaddlePaddle)總架構師。2008年從北京大學畢業加入百度,長期從事機器學習、自然語言處理相關的技術研發和平臺建設工作。

白浩傑,北航、大連理工特聘講師,百度認證深度學習佈道師,美國佛羅里達國際大學高效能資料實驗室訪問學者,致力於移動物件資料庫、資料視覺化、機器學習、深度學習等方向的研究。

本文摘編自《飛槳PaddlePaddle深度學習實戰》,經出版方授權釋出。

延伸閱讀《飛槳PaddlePaddle深度學習實戰》

點選上圖瞭解及購買

轉載請聯絡微信:DoctorData

推薦語:本書由百度官方出品,內容全面、由淺入深、注重實踐,基於飛槳PaddlePaddle深度學習平臺,較為全面地覆蓋了學習深度學習技術所必須具備的基礎知識以及深度學習主要核心技術,包括相關的數學基礎、Python程式設計基礎、機器學習基礎以及正向/反向傳播演算法、卷積神經網路、迴圈神經網路等,儘量做到讀懂一本書即可達到“零基礎”到“全精通”。

劃重點????

乾貨直達????

更多精彩????

在公眾號對話方塊輸入以下關鍵詞

檢視更多優質內容!

PPT|讀書|書單|硬核|乾貨|講明白|神操作

大資料|雲端計算|資料庫|Python|視覺化

AI|人工智慧|機器學習|深度學習|NLP

5G|中臺|使用者畫像|1024|數學|演算法|數字孿生

據統計,99%的大咖都完成了這個神操作

????