Highway Network

  受LSTM啟發，增加了一個門函式，讓網路的輸出由兩部分組成，分別是網路的直接輸入以及輸入變形後的部分。
  假設定義一個非線性變換為y=H(x,W_h)，定義門函式T(x,W_t)，攜帶函式C(x,W_c)=1-T(x,W_t)。對於門函式取極端的情況0/1會有y=0或y=H(x,W_h)，而對應的門函式使用sigmoid函式T(x)=sig(W_t*x+b_t)，則極端的情況不會出現。
  一個網路的輸出最終變為，注意這裡的乘法是element-wise multiplication。
  注意，門函式，轉換，與的維度應該是相同的。如果不足，可以用0補或者用一個卷積層去變化。
  參考資料：

ResNet的結構與Highway很類似

  如果把Highway的網路變一下形會得到，而在ResNet中，直接把門函式T(x)去掉，就得到一個殘差函式，而且會得到一個恆等的對映 x ，對的，這叫殘差網路，它解決的問題與Highway一樣，都是網路加深導致的訓練困難且精度下降的問題。