Resnet

這篇部落格主要介紹了提出Resnet的兩篇論文，我分析了兩篇論文的核心內容，歡迎大家閱讀！

---

相關論文

2016CVPR Deep Residual Learning for Image Recognition
2016ECCV Identity Mapping in Deep Residual Networks

論文簡介

CVPR論文

1.極深的深度網路會導致train error 和test error都增加， 這並不是由於overfitting導致的，因為訓練集的error也增加。說明不是所有的系統都可以被同樣簡單地優化。作者全文以一種簡單的堆疊（plain）神經網路來於深度殘差網路作對比，下圖所示即為剛剛所說的簡單堆疊引起的誤差增加。

2. 在CVPR這篇論文中最重要的一幅圖就是下圖，一個更深的殘差網路可以由下面的殘差單元所組成。在以前的深度學習中我們通常擬合的是$y = F(x)$中的$F$函式，其中$x$是網路的輸入，$y$是網路的輸出，一大串的網路可以抽象為一個非線性$F$函式（因為使用了非線性啟用函式…）。我們現在將原先的函式重新記為$H(x)$，我們這篇論文網路學習的函式為$F(x) = H(x)-x$，它是原來網路輸出和網路輸入的差，即為殘差。當我們將一大串網路的學習目標改為殘差後，那麼網路的輸出即為$F(x)+x$。為了實現和原有輸入的相加，我們需要將正常的前向網路新增一個”shortcut connections”。這個”shortcut connections”在這篇論文中就是一個”Identity mapping”(恆等對映)，顯而易見，恆等對映在原有網路基礎上，並不需要參加額外的引數，它仍然可以使用現有神經網路框架的SGD(隨機梯度下降)等求解器求解訓練。

3. 作者接下來簡單介紹了深度殘差網路和簡單堆疊神經網路在ImageNet和CIFAR-10兩個資料集對比結果，發現深度殘差網路不僅非常容易優化，而且隨著深度的增加殘差網路的分類準確率也增加。同時殘差網路在其他資料集和其他影象分割檢測等任務中表現也十分優秀。擁有極好的擴充套件性。
4. 作者下一部分Related Work中對殘差表示和shortcut connections的相關工作進行了介紹。
5. 作者之後介紹了使用殘差這種形式的靈感來源，degradation這個問題暗示了原來的優化網路損失的演算法在經過傳統很多層非線性網路層後無法近似模擬恆等對映，而通過殘差單元中的shortcut connections將x直接送過去，會解決這個問題。
6. 作者下面用這個公式來說明恆等變換的細節。$y = F(x, {W_i}) + x$， 在相加時我們需要保證經過若干神經網路層後即$F$處理後與$x$維度相同，所以公式變為$y = F(x, {W_i}) + W_sx$, $W_s$僅僅用於匹配維度。作者推薦在殘差單元中新增兩層或者三層卷積神經網路， 當然更多層也可以嘗試，但是一層作者沒有觀察到殘差單元的優勢。
7. 作者之後用三種網路結構處理Imagenet， 並進行對比，三種網路結構如下圖所示。

8. 注意到在殘差網路虛線處feature map的維度增加了，作者提出了兩種選擇：

• shortcut仍然是恆等對映，但是額外的0元素進行填充來實現維度增加，這種方法不會增加額外的引數。
• 第二種方法是使用剛剛的有$W_s$這個引數的公式來進行一個1*1的卷積操作實現。
  9.接下來作者介紹了自己在處理ImageNet資料集使用的一些trick：
• 首先將圖片resize到[256, 480]，之後從中隨機裁剪224*224大小，並進行水平翻轉，然後進行影象標準化。作者在每次卷積操作後啟用前使用BN(Batch Normalization批標準化)操作。使用隨機梯度下降的batch_size為256， 學習率初始設定為0.1之後不斷的除以10。模型總共訓練了$60x10^4$輪， 同時權重衰減為0.0001，動量為0.9，沒有使用dropout。
  10.下面是具體不同層數的Resnet網路的結構
  
  11.下面作者通過圖表來比較簡單堆疊的神經網路和Resnet的訓練誤差，進一步看出Resnet層數增加訓練誤差減小。
  
  12.之後作者對比了一系列以往模型在ImageNet資料集下的錯誤率，分為單一模型和整合模型進行比較，可以看出只是單一模型的Resnet就超過了以往所有模型整合的效果，體現出了殘差網路的強大。
  
  13.作者之後探討了3種不同的shortcut方法：
• A.當需要增加維度時，使用0來增加維度，其他時候直接傳入x，這樣便不用增加額外的引數
• B.在增加時使用投影即上面所說的$W_s$來增加維度，其他時候直接傳入x
• C.在所有shortcut使用投影。
  
  經過對比可以看出其區別並不是很大，而且它對前面提到的最重要的Degradation問題沒有重要的影響，所以接下來都採取最簡單的A或者B來減小模型的複雜度、記憶體消耗等。
  14.之後作者對之前的殘差單元(building block)進行了修改，原來的是兩個3x3的卷積層，修改後是兩個1x1一個3x3的卷積層，這個設計稱為bottleneck。1x1的層用來減小然後增加維度，使得3x3的卷積層有著更小的輸入和輸出維度。這種實現減少了模型的大小。同時作者強調了這樣的設計最好使用零填充，不然模型的大小會翻倍。
  
  15.然後作者又在CIFAR-10資料集下對比了不同模型的實驗結果，同時介紹了一些網路細節。這裡有一個十分需要注意的地方就是在1202層的設計中Resnet的錯誤率並沒有下降，因此作者在ECCV發表了第二篇來解決這個問題。
  
  16.最後作者說他們並沒有使用maxout、dropout等trick，這些值得研究。同時介紹了殘差網路在其他任務的優良表現。

ECCV論文

1.深度殘差網路由很多的堆疊的殘差單元(Residual Units)組成，每個殘差單元都可以用下面的公式表示：
$y_l = h(x_l)+F(x_l, W_l)$
$x_{l+1} = f(y_l)$
其中$x_l, x_{l+1}$分別為第l個單元的輸入和輸出，$F$是殘差函式，在之前的論文中$h(x_l) = x_l$, $f$是一個ReLU函式。這篇論文主要結論是當$h(x_l)和f(y_l)都是identity mapping$時，訊號可以直接從一個單元傳入另外一個單元，無論是在前向傳播過程中還是後向傳播過程中。
2.作者首先為了瞭解skip connections， 對比了不同型別的$h(x_l)$，發現當$h(x_l) = x_l$時，擁有最快的錯誤下降率同時有著最小的訓練誤差。其他方法如scaling、gating以及1x1convolutions都會導致高的錯誤率和高的訓練誤差。下面是作者提供的便於對比的圖：作者告訴我們傳播原始輸入的這一條路越“乾淨”越好。同時注意到右側proposed作者將BN、ReLU兩個操作提前到卷積操作前（稱為預啟用），預啟用相比original的post-activation效果更好，這個解決了上篇論文中在網路更深到1000多層出現的訓練誤差增大的問題。

3.作者接下來用公式分析了殘差網路，在上面的公式中如果$h(x_l) \equiv x_l, f(y_l) \equiv y_l$，那麼
$x_{l+1} = x_l + F(x_l, W_l)$當我們對每一個殘差單元進行遞迴計算後可以得到:
xL=xl+

相關推薦

resnet，Resnet，殘差網路

Resnet 這篇部落格主要介紹了提出Resnet的兩篇論文，我分析了兩篇論文的核心內容，歡迎大家閱讀！ 相關論文 2016CVPR Deep Residual Learning for Image Recognition 2016ECCV Identity Mapp

太深了，梯度傳不下去，於是有了highway。 幹脆連highway的參數都不要，直接變殘差，於是有了ResNet。 強行穩定參數的均值和方差，於是有了BatchNorm。RNN梯度不穩定，於是加幾個通路和門控，於是有了LSTM。 LSTM簡化一下，有了GRU。

梯度 直接 ID orm rop 發展 均值 nor 噪聲 請簡述神經網絡的發展史sigmoid會飽和，造成梯度消失。於是有了ReLU。ReLU負半軸是死區，造成梯度變0。於是有了LeakyReLU，PReLU。強調梯度和權值分布的穩定性，由此有了ELU，以及較新的SELU

高速路神經網路(Highway Networks)與深度殘差網路(ResNet)的原理和區別

高速路神經網路(Highway Networks)： 我們知道，神經網路的深度是其成功的關鍵因素。然而，隨著深度的增加，網路訓練變得更加困難，並且容易出現梯度爆炸或梯度消失的問題。高速路神經網路(Highway Networks)就是為了解決深層網路訓練困難的問題而提出的。 在一般的神經

大牛教你使用dlib中的深度殘差網路(ResNet)實現實時人臉識別

opencv中提供的基於haar特徵級聯進行人臉檢測的方法效果非常不好，本文使用dlib中提供的人臉檢測方法（使用HOG特徵或卷積神經網方法），並使用提供的深度殘差網路（ResNet）實現實時人臉識別，不過本文的目的不是構建深度殘差網路，而是利用已經訓練好的模型進行實時人臉識

深度學習 --- 深度殘差網路（ResNet）變體介紹

先說明，本文不是本人所寫，是本人翻譯得來，目的是系統整理一下，供以後深入研究時引用，如有侵權請聯絡本人刪除。 ResNet變體 寬剩餘網路（WRN）：從“寬度”入手做提升： Wide Residual Network（WRN）由Sergey Zagoruyko和Nikos Komod

深度學習 --- 深度殘差網路詳解ResNet

本來打算本節開始迴圈神經網路RNN，LSTM等，但是覺得還是應該把商用比較火的網路介紹一下，同時詳細介紹一下深度殘差網路，因為他是基於卷積的。而後面的迴圈神經網路更多偏向於序列問題，偏向語音識別，自然語言處理等的應用，而卷積神經網路更偏向於影象識別方面的應用，因此在本節就介紹幾種常用的神經網路，

【轉載】十分鐘一起學會ResNet殘差網路

  深層次網路訓練瓶頸：梯度消失，網路退化 深度卷積網路自然的整合了低中高不同層次的特徵，特徵的層次可以靠加深網路的層次來豐富。從而，在構建卷積網路時，網路的深度越高，可抽取的特徵層次就越豐富。所以一般我們會傾向於使用更深層次的網路結構，以便取得更高層次的特徵。但是在使用深層次的網路結構時我們會

殘差網路ResNet網路原理及實現

全文共1483字，5張圖，預計閱讀時間10分鐘。作者介紹：石曉文，中國人民大學資訊學院在讀研究生

深度學習: ResNet (殘差) 網路

Introduction 添加了一些直達通道，相當於加入了約束。使得某些原本就應為identity mapping的module，直接獲得identity mapping的能力。 起因 2015年之前，在層數不多的深度網路模型中，人們通過 設定 合理的

CNN入門講解：什麼是殘差網路Resnet

微信公眾號：follow_bobo知乎：蔣竺波加公眾號，回覆殘差網路，可以得得到視訊所有高清PPT-----------------------------------------------------------------------------------------------大家好，我是第一行こん

使用 tensorlayer 組建 殘差網路 resnet 實現 mnist 手寫識別例子

最近學習殘差網路，非常給力，即使是深層網路也能很快收斂 這裡的程式碼構建了一個17層的網路，5 epoch就能達到96%以上準確率 lost-損失，acc-準確率 不過發現幾個問題 1.使用訓練過程中，lost值會先減小，然後會一直增大，而acc值卻在一

深度殘差網路 ResNet

作為 CVPR2016 的 best paper，何凱明的文章【1】針對深層網路梯度彌散導致的SGD優化難題，提出了 residual（殘差）結構，很好的解決了模型退化問題，在50層、101層、152層甚至1202層的網路上測試均獲得了很好的效果。 應用了Re

深度殘差網路(ResNet)

引言 　　對於傳統的深度學習網路應用來說，網路越深，所能學到的東西越多。當然收斂速度也就越慢，訓練時間越長，然而深度到了一定程度之後就會發現越往深學習率越低的情況，甚至在一些場景下，網路層數越深反而降低了準確率，而且很容易出現梯度消失和梯度爆炸。 　　這種現象並不是由於過擬合導致的，過擬合是在訓練集

從頭學pytorch(二十):殘差網路resnet

殘差網路ResNet resnet是何凱明大神在2015年提出的.並且獲得了當年的ImageNet比賽的冠軍. 殘差網路具有里程碑的意義,為以後的網路設計提出了一個新的思路. googlenet的思路是加寬每一個layer,resnet的思路是加深layer. 論文地址:https://arxiv.org/a

使用keras實現深度殘差網路

from keras.models import Model from keras.layers import Input, Dense, Dropout, BatchNormalization, Conv2D, MaxPooling2D, AveragePooling2D, concate

PyTorch—torchvision.models匯入預訓練模型與殘差網路講解

文章目錄 torchvision.models 1. 模組呼叫 2. 原始碼解析 3. ResNet類 4. Bottlenect類 5. BasicB

吳恩達深度學習4-Week2課後作業2-殘差網路

一、Deeplearning-assignment 在本次作業中，我們將學習如何通過殘差網路(ResNets)建立更深的卷及網路。理論上，深層次的網路可以表示非常複雜的函式，但在實踐中，他們是很難建立和訓練的。殘差網路使得建立比以前更深層次的網路成為可能。對於殘差網路的詳細講解，具體可參考該

學習筆記之——基於pytorch的殘差網路（deep residual network）

本博文為本人學習pytorch系列之——residual network。 前面的博文（ 學習筆記之——基於深度學習的分類網路）也已經介紹過ResNet了。ResNet是2015年的ImageNet競賽的冠軍，由微軟研究院提出，通過引入residual block能夠成功地訓練高達

殘差網路（Residual Networks, ResNets）

1. 什麼是殘差（residual）？ 　　“殘差在數理統計中是指實際觀察值與估計值（擬合值）之間的差。”“如果迴歸模型正確的話， 我們可以將殘差看作誤差的觀測值。” 　　更準確地，假設我們想要找一個 $x$，使得 $f(x) = b$，給定一個 $x$ 的估計值 $x_0$，殘差（residual）就是 $

resNet_model—定義殘差網路模型

resnet_model.py """ResNet model. Related papers: https://arxiv.org/pdf/1603.05027v2.pdf https://arxiv.org/pdf/1512.03385v1.pdf ht