網路的設計

網路結構設計

  1）金字塔式的形狀
  你也許經常在表徵能力和減少冗餘或者無用資訊之間權衡。卷積神經網路通常會降低啟用函式的取樣，並會增加從輸入層到最終層之間的連線通道。

  2）Summation Joining
  Summation 是一種常用的合併分支的方式。在 ResNets 中，使用總和作為連線的機制可以讓每一個分支都能計算殘差和整體近似。如果輸入跳躍連線一直存在，那麼 summation 會讓每一層學到正確地東西（例如與輸入的差別）。在任何分支都可以被丟棄的網路（例如 FractalNet）中，你應該使用這種方式類保持輸出的平滑。

設計CNN

網路有多深？	
網路有多寬？	
每一層是要用什麼結構？線性層還是卷積層？	
層與層之間應該如何連線？	
應該使用什麼樣的 Activation？	
應該使用什麼樣的優化演算法？	
優化演算法的初始步長是多少？	
初始步長在訓練過程中應該如何下降？	
應該使用什麼樣的初始化？	
是否需要使用 Momentum 演算法？如果是，具體速率是多少？	
卷積層裡面是否要加入常數項？	
是否需要使用 Dropout？	
是否需要使用 Batch norm？是否需要自動調整 Batch norm 的引數？	
是否需要使用 Weight decay？	
Weight decay 速度是多少？	
Mini batch 的大小是多少？	
 

加深網路的方法

  採用簡化的residual block 取代了原來 1×1 和 3×3的block; (其實就是加了一個shortcut，也是網路加深必然所要採取的手段)。

Model size變小會有什麼缺陷？

  回答：Model size變小通常會讓模型的泛化能力變差，模型更加容易過擬合。所以對於訓練更小的模型，模型的結構設計就很重要，不同的模型結構泛化能力是不同的。