此篇部落格主要是講一些目前較好的網路發展，提出問題，解決了什麼問題,有什麼優缺點。

1、Alexnet網路，本網路是2012年的分類冠軍，掀起來深度學習的熱潮，Alexnet引數量巨大，由於受限於硬體計算，作者採用了group 卷積，將特徵圖分別放入不同gpu進行運算，最後融合，但是此網路存在一個問題，不同特徵圖分別計算然後融合，如此卷積核只與某一部分的特徵圖進行卷積，這樣卷積核獲得的特徵只有一部分，模型泛化能力有所下降，為解決這個問題，就有了shuffleNet.

2、shuffeNet:稱為壓縮網路，號稱是可以在移動裝置上執行的網路，將特徵的通道平均分到不同組裡面，卷積後，進行channnel shufflenet操作，具體如下： 將每一組再進行細分，將當前組細分成多份，然後將這些再細分的小份，再輸入之前不同的組。進行打亂。此篇論文是基於resnet改進，將renet每一模組，改為：11分組卷積，然後 BN,RELU後，進行shuffle，然後進行33卷積操作，不過33卷積操作是為depthwise操作，然後在進行11分組卷積，再與renet中的跳遠連線進行通道融合，resnet是通道相加。

3、VGG,對於卷積核是否越大越好，vgg主要創新為加深了網路，將55卷積改成兩個33卷積，這樣可以大大減少計算量。

4、inception.2014分類冠軍是否每一層網路只能用一種卷積核，而inception網路設計就是同一層分別用不同大小的卷積核，如此可以獲得不同尺度的特徵，增強網路對多尺度的適應性，另外一個創新就是採用了network in network網路中11卷積來減少運算量。inceptionv2創新點為提出了BN網路層，這樣使得訓練更容易收斂，加快訓練速度，緩解梯度爆炸，也有一定的正則化的效果，inceptionv3創新為：將55,33卷積改為15,51,13,31卷積。inceptionv4創新為利用了殘差網路，一起結合。

5、resnet，2015分類冠軍，網路越深就越難訓練，梯度消失梯度爆炸就會影響。提出resnet，一個跳遠連線。改革性成果，如此就可以訓練更深的網路，解決越深就會效果越差的問題，其中有很多resnet的改進，具體代表為，densenet,ResReXt,wide resnet.

6、MobieNet:卷積操作是否必須同時考慮通道與區域，此篇論文就解決了這個問題，將傳統卷積操作，分為兩步進行，先進行Depth Wise操作即：對每一個通道進行各自卷積操作，不進行相加操作。再進行11卷積操作，這樣大大降低了引數量。

7、SEnet;是否每一層的特徵圖都是不分權重直接結合的，是否每個特徵圖起的作用都是一樣的呢？本網路就是解決這個問題，對每一層的特徵進行訓練，使得有效特徵圖權重大，無效的特徵圖權重小，根據loss去訓練特徵權重。senet並不是完全的模組，只是小模組，用來嵌入其他網路。具體操作為：先將輸入進行全域性平均池化，變為一維，然後兩個全連線層，訓練權重，兩個全連線層採用relu與sigmoids啟用函式，然後將輸出與輸入相乘。得出結果。senet為2017年分類冠軍。

8、空洞卷積；能否讓卷積核看到更大的區域，則有了空洞卷積，即可以增強模型表現力。，也不增大計算量。

9、卷積核的形狀一定是卷積嗎？就提出了可變現卷積。使得卷積後能夠看到他感興趣的區域，這樣可以提高識別效果，