詳解深度學習之經典網路架構(十):九大框架彙總
目錄
本文是對本人前面講的的一些經典框架的彙總。
純手打,如果有不足之處,可以在評論區裡留言。
0、概覽
1、個人心得
(1)LeNet:元老級框架,結構簡單,卻開創了卷積神經網路的新紀元,具有重要的學習價值。
(2) AlexNet:打開了深度學習的大門,深度學習成為學術界的新寵。主要意義在於驗證了神經網路的有效性,為後續的發展提供了參考。
(3)ZF-Net:這個在Alex上改進較少,主要貢獻是2點:
a)由AlexNet的雙GPU改為單GPU上訓練;
b)對神經網路的每一層都進行了視覺化,這是最主要的貢獻。
(4)VGG-Net:
(5)GoogLeNet:有四個版本,主要是在網路寬度上進行了改進,不像VGG-Net只是單純增加深度,在同一層中使用了多個不同尺寸的卷積,以獲得不同的視野,最後級聯(直接疊加通道數量),這就是Inception module從v2開始,進一步簡化把Inception module中的n×n模組分解為1×n和n×1的組合,減少了引數數量,v3進一步把最開始的7×7卷積和其他非3×3進行分解,v4引入了ResNet殘差的思想。
(6)ResNet:
a)此處的跨層連線的計算方式和GoogLeNet中的級聯不同,這裡是每個通道進行相加操作,如果的通道數和的通道數不同,則對用1×1的卷積操作,使得維度一樣;
b)有有兩個版本v1和v2,v2只是引入了BN(banch normalization),並討論的BN放置位置的問題,其他思想一樣。
(7)DenseNet:比ResNet來的更加徹底,即當前的每一層都和前面的每一層連線。這裡有兩點值得注意:
a)為了解決每個輸入的尺寸不一樣的問題,因此提出了Dense block,即在這個模組中才進行每一層的連線,這樣便於控制輸入尺寸的大小,Dense block模組之間就可以放心的使用池化操作了;
b)此處的連線的計算方式為級聯(直接疊加通道數量),和GoogLeNet一樣,和ResNet不同。
(8)ResNeXt:在ResNet的基礎上,借鑑GoogLeNet的思想,增加了網路的寬度,同時,為了簡化設計的複雜度,不像Inception module裡面採用了不同尺寸的卷積,這裡使用相同的的卷積,並用了32個,最後每個通道相加,和Inception module的級聯不同。
(9)DPN:一種雙通道網路,結合了ResNet和DenseNet的優點,具有一定的參考價值。
2、總結
深度學習還有很大的發展空間,這裡總結的是一些經典網路架構,還有很多有意思的網路架構,可以參考我以後的部落格,會不定時更新一些最新的技術。