Alexnet - 論文研讀系列(1) 個人筆記

論文基本資訊

• 論文題目：
  • ImageNet Classification with Deep Convolutional Neural Networks

• 作者：

  • Krizhevsky, A., Sutskever, I., and Hinton, G. E.

• 論文原文：

  • https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

一、論文架構

• 摘要：

  • 簡要說明了獲得成績、網路架構、技巧特點

• 1、introduction

  • 領域方向概述
  • 前人模型成績
  • 本文具體貢獻
• 2、The Dataset
  • 資料集來源，訓練資料進行的一些預處理

• 3、The Architecture

  • 網路模型大體組成
  • ReLU
  • Training on Multiple GPUs
  • LRN (Local Response Normalization)
  • Overlapping Pooling
  • 網路模型整個具體架構

• 4、Reducing Overfitting

  • Data Augmentation 資料擴充/資料增強
  • Dropout

• 5、Details of learning

  • 帶動量的隨機梯度下降

• 6、Results

  • 測試集錯誤率
  • 質量評估 - 具體圖片分析，評估模型學到了什麼

• 7、Discussion

二、網路結構

• AlexNet 有5個廣義卷積層和3個廣義全連線層。

  • 廣義的卷積層：包含了卷積層、池化層、ReLU、LRN 層等。

  • 廣義全連線層：包含了全連線層、ReLU、Dropout 層等

• 網路具體結構如下所示：
  • 輸入層會將3@224x224 的三維圖片預處理變成3@227x227的三維圖片
    • 為了使後續計算出來是整數
  • 第二層廣義卷積層、第四層廣義卷積層、第五層廣義卷積層都是分組卷積，僅採用本GPU內的通道資料進行計算
    • 多GPU的設定完全是利用多GPU來提高運算的效率，下表給出都是如果只用單GPU情況下輸入輸出尺寸

  • 第一層廣義卷積層、第三層廣義卷積層、第六層連線層、第七層連線層、第八層連線層執行的是全部通道資料的計算

  • 第二層廣義卷積層的卷積、第三層廣義卷積層的卷積、第四層廣義卷積層的卷積、第五層廣義卷積層的卷積均採用same填充（即：填充0，pad由核大小決定 - 卷積的三種模式:full, same, valid）

    • 當卷積的步長為1，核大小為3x3 時，如果不填充0，則feature map的寬/高都會縮減 2 。因此這裡填充0，使得輸出feature map的寬/高保持不變。

    • 第一層廣義卷積層的卷積，以及所有的池化都是valid填充（即：不填充 0，pad = 0 ）

  • 第六層廣義連線層的卷積之後，會將feature map展平為長度為 4096 的一維向量（這一層實際上看是卷積，使得向量展開成一維）

• 網路計算與引數數量

  • 第一層：卷積層1，輸入為3@224x224的影象，卷積核的數量為96，論文中兩片GPU分別計算48個核; 卷積核的大小為3@11x11; stride = 4, stride表示的是步長， pad = 0, 表示不擴充邊緣;
    wide = (227 + 2 x padding - kernel_size) / stride + 1 = 55
    height = (227 + 2 x padding - kernel_size) / stride + 1 = 55
    dimention = 96
    然後進行 (Local Response Normalized), 後面跟著池化pool_size = (3, 3), stride = 2, pad = 0 最終獲得第一層卷積的feature map
    最終第一層卷積的輸出為96@55x55

  • 第二層：卷積層2, 輸入為上一層卷積的feature map， 卷積的個數為256個，論文中的兩個GPU分別有128個卷積核。卷積核的大小為：48@5×5; pad = 2, stride = 1; 然後做 LRN， 最後 max_pooling, pool_size = (3, 3), stride = 2。後續計算基本類似

  • 網路總引數總計約 6237萬。

    • 第6層廣義連線層的卷積的引數數量最多，約3770萬，佔整體六千萬引數的 60%。

    • 原因是該子層的卷積核較大、輸入通道數量較大、輸出通道數量太多。該卷積需要的引數數量為：255x6x6x4096 = 37,748,736

三、設計技巧與創新點

• AlexNet 成功的主要原因在於：
  • 使用ReLU啟用函式
  • 使用dropout、資料集增強 、重疊池化等防止過擬合的方法
  • 使用百萬級的大資料集來訓練
  • 使用GPU訓練，以及的LRN使用
  • 使用帶動量的mini batch隨機梯度下降來訓練

3.1 ReLU啟用函式

• Rectified Linear Unit：一種線性且不飽和的啟用函式，在該論文中首次提出

  • f(x)=max(0,x)

  • 啟用函式作用：啟用函式是用來加入非線性因素的，提高神經網路對模型的表達能力，解決線性模型所不能解決的問題。

• 優點：
  1. ReLU解決了梯度消失的問題，至少x在正區間內，神經元不會飽和。
  2. 由於ReLU線性、非飽和的形式，在SGD（隨機梯度下降）中能夠快速收斂。
  3. 計算速度要快很多。ReLU函式只有線性關係，不需要指數計算，不管在前向傳播還是反向傳播，計算速度都比sigmoid和tanh快。
• 缺點：
  1. ReLU的輸出不是“零為中心”(Notzero-centered output)。
  2. 隨著訓練的進行，可能會出現神經元死亡，權重無法更新的情況。這種神經元的死亡是不可逆轉的死亡。
• 具體解釋參考：不同啟用函式對比以及梯度消失、爆炸、神經元節點死亡的解釋

3.2 資料集增強

• AlexNet 中使用的資料集增強手段：
  • 隨機裁剪、隨機水平翻轉：原始圖片的尺寸為256x256，裁剪大小為224x224。

    • 訓練階段每一個epoch 中，對同一張圖片進行隨機性的裁剪，然後隨機性的水平翻轉。理論上相當於擴充了資料集(256-244)²x2=2048倍。

    • 預測階段不是隨機裁剪，而是固定裁剪圖片四個角、一箇中心位置，再加上水平翻轉，一共獲得 10 張圖片。
      用這10張圖片的預測結果的均值作為原始圖片的預測結果。

  • PCA 降噪：對RGB空間做PCA 變換來完成去噪功能。同時在特徵值上放大一個隨機性的因子倍數（單位1 加上一個N(0,0.1)的高斯繞動），也就是對顏色、光照作變換，從而保證影象的多樣性。

    • 每一個epoch 重新生成一個隨機因子。

    • 該操作使得錯誤率下降1% 。

• AlexNet 的預測方法存在兩個問題：
  • 這種固定裁剪四個角、一箇中心的方式，把圖片的很多區域都給忽略掉了。很有可能一些重要的資訊就被裁剪掉。

  • 裁剪視窗重疊，這會引起很多冗餘的計算。

  • 改進的思路是：

    • 執行所有可能的裁剪方式，對所有裁剪後的圖片進行預測。將所有預測結果取平均，即可得到原始測試圖片的預測結果。

    • 減少裁剪視窗重疊部分的冗餘計算。

    • 具體做法為：將全連線層用等效的卷積層替代，然後直接使用原始大小的測試圖片進行預測。將輸出的各位置處的概率值按每一類取平均（或者取最大），則得到原始測試影象的輸出類別概率。

3.3 區域性響應規範化 - LRN

• 在神經網路中，我們用啟用函式將神經元的輸出做一個非線性對映，但是tanh和sigmoid這些傳統的啟用函式的值域都是有範圍的，但是ReLU啟用函式得到的值域沒有一個區間，所以要對ReLU得到的結果進行歸一化。

• 區域性響應規範層LRN：目的是為了進行一個橫向抑制，使得不同的卷積核所獲得的響應產生競爭。
  • LRN層現在很少使用，因為效果不是很明顯，而且增加了記憶體消耗和計算時間。
  • 在AlexNet 中，該策略貢獻了1.2%的貢獻率。

• LRN的思想：輸出通道i在位置(x,y)處的輸出會受到相鄰通道在相同位置輸出的影響。
  為了刻畫這種影響，將輸出通道i的原始值除以一個歸一化因子。

• 公式為：
  \[ {b^{i}_x,_y}={a^{i}_x,_y}/(k+\alpha \sum_{j=max(0,i-n/2)}^{min(N-1,i+n/2)}({a^{j}_x,_y}^{2}))^{\beta } ,i=0,1...N-1 \]

• 其中：\({a^{i}_x,_y}\)為輸出通道i在位置(x,y)處的原始值，\({b^{i}_x,_y}\)為歸一化之後的值。n為影響第i通道的通道數量（分別從左側、右側 n/2個通道考慮）。\(\alpha\)，\(\beta\)，\(k\)為超引數。
  一般而言，k=2 , n=5 , α=10^−4 , β=0.75

• 功能類似於最大最小歸一化：\[x_{i}=x_{i}/(x_{max}-x_{min})\]

3.4 多GPU訓練

• AlexNet 使用兩個GPU訓練。網路結構圖由上、下兩部分組成：一個GPU執行圖上方的通道資料，一個GPU 執行圖下方的通道資料，兩個GPU只在特定的網路層通訊。即：執行分組卷積。

• 第二、四、五層卷積層的核只和同一個GPU 上的前一層的feature map 相連。

• 第三層卷積層的核和前一層所有 GPU 的 feature map 相連。

• 全連線層中的神經元和前一層中的所有神經元相連。

3.5 Overlapping Pooling - 重疊池化

• 一般的池化是不重疊的，池化區域的大小與步長相同。Alexnet 中，池化是可重疊的，即：步長小於池化區域的大小。

• 重疊池化可以緩解過擬合，該策略貢獻了0.4%的錯誤率。
  • 為什麼重疊池化會減少過擬合，很難用數學甚至直觀上的觀點來解答。一個稍微合理的解釋是：重疊池化會帶來更多的特徵，這些特徵很可能會有利於提高模型的泛化能力。

3.6 優化演算法

• AlexNet 使用了帶動量的mini-batch 隨機梯度下降法。

• 標準的帶動量的mini-batch 隨機梯度下降法為：
  • \[ v_t=-\eta \partial w+v_{t-1}\cdot momentum \]
    
  • \[ {w=w+v_t} \]
    
  • 具體細節見參考：隨機梯度下降與動量詳解
• 而論文中，作者使用了修正：
  • \[ {v_t={-\eta \partial w}-{\beta\cdot \eta w}+{v_{t-1}\cdot momentum}} \]
  • \[ {w=w+v_t} \]
    

  • 其中 momentum=0.9 , β=0.75 , η為學習率

  • \({-\beta\cdot \eta w }\)為權重衰減。論文指出：權重衰減對於模型訓練非常重要，不僅可以起到正則化效果，還可以減少訓練誤差。

3.7 Dropout

• 引入Dropout主要是為了防止過擬合。在神經網路中Dropout通過修改神經網路本身結構來實現，對於某一層的神經元，通過定義的概率將神經元置為0，這個神經元就不參與前向和後向傳播，就如同在網路中被刪除了一樣，同時保持輸入層與輸出層神經元的個數不變，然後按照神經網路的學習方法進行引數更新。在下一次迭代中，又重新隨機刪除一些神經元（置為0），直至訓練結束。

• Dropout應該算是AlexNet中一個很大的創新，現在神經網路中的必備結構之一。Dropout也可以看成是一種模型組合，每次生成的網路結構都不一樣，通過組合多個模型的方式能夠有效地減少過擬合，Dropout只需要兩倍的訓練時間即可實現模型組合（類似取平均）的效果，非常高效。

• 具體細節見參考：理解Dropout

相關推薦

< AlexNet - 論文研讀系列(1) 個人筆記 >

Alexnet - 論文研讀系列(1) 個人筆記 論文基本資訊 論文題目： ImageNet Classification with Deep Convolutional Neural Networks 作者： Krizhevsky, A., Sutskever, I., and Hinton, G.

AD預測論文研讀系列1

A Deep Learning Model to Predict a Diagnosis of Alzheimer Disease by Using 18F-FDG PET of the Brain 原文連結 提要 目的 開發並驗證一種深度學習演算法，該演算法可以基於腦部18F FDG PET來預測A

個人筆記--->服務器篇

反向 his 緩存 group tor cer shu nag 無法解析 day 01環境： PC： eth0:192.168.4.100 代理： eth0:192.168.4.5 eth1:192.168.2.5

個人筆記---->mysql數據庫基本操作

stop root 表結構 nbsp my.cnf 個人筆記 設置 eat 使用 mysql數據庫服務操作 # systemctl start mysqld //啟動 # systemctl stop mysqld //停止 # systemctl res

密碼學 個人筆記（1）

1.證明形如4n-1的素數有無數個。 證明：在已知素數有無數個的情況下，素數可以分為兩種，4n-1型和 4n+1型 假設4n-1型有限，不妨令他們為p1 p2…pn 令x = 4xp1xp2…pn-1 若 x為素數，不用多說 若x為合數，且有4n-1型質因子，不妨設為q，則q一定在

React 部落格系列 (1) 搭建的個人部落格

React 搭建的個人部落格 github個人部落格原始碼持續更新中。。。 小白起步，搭建的個人部落格，具有前端和管理端，還未完工，會持續更新。前後端分離，前端採用Mock.js模擬資料，部分引用antd元件，後端利用MongoDB儲存，axios傳遞資料，相關技術

【厚積薄發系列】讀書筆記1—《週一凌晨的領導課》小記

《週一凌晨的領導課》是美國著名教育家大衛·科特萊爾寫的，全書主要分為八個章節。 第一：司機與乘客；表達了不同的職責需要付出的也不一樣，最後收穫的也將不一樣。 第二：要事第一；在繁雜的日常工作中，每天需要抽出一小部分時間來整理計劃，確定任務的優先順序，做到要事第一。 第三

GoogLeNetv2 論文研讀筆記

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 原文連結 摘要 當前神經網路層之前的神經網路層的引數變化，引起神經網路每一層輸入資料的分佈產生了變化，這使得訓練一個深

GoogLeNetv3 論文研讀筆記

Rethinking the Inception Architecture for Computer Vision 原文連結 摘要 卷積網路是目前最新的計算機視覺解決方案的核心，對於大多數任務而言，雖然增加的模型大小和計算成本都趨向於轉化為直接的質量收益（只要提供足夠的標註資料去訓練），但計算效率和低引

ResNet 論文研讀筆記

Deep Residual Learning for Image Recognition 原文連結 摘要 深度神經網路很難去訓練，本文提出了一個殘差學習框架來簡化那些非常深的網路的訓練，該框架使得層能根據其輸入來學習殘差函式而非原始函式。本文提出證據表明，這些殘差網路的優化更簡單，而且通過增加深度來獲得

GoogLeNetv4 論文研讀筆記

Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 原文連結 摘要 向傳統體系結構中引入殘差連線使網路的效能變得更好，這提出了一個問題，即將Inception架構與殘差連線結合起來是否能帶來一

S2.1 深入.NET平臺和C#程式設計 個人筆記

foreach (XmlNode node in enginner.ChildNodes)       //對子節點進行迴圈{//將每個節點的內容顯示出來switch (node.Name){//找到相應的節點case "ID":Console.WriteLine("ID:{0}",node.InnerTex

利用卷積神經網路進行阿爾茨海默病分類的神經影像模式融合 論文研讀筆記

原文連結 發表： 2018.11.13 摘要 阿爾茨海默病（AD）分類的自動化方法具有巨大的臨床益處，並可為防治該疾病提供見解。深層神經網路演算法通常使用諸如MRI和PET的神經學成像資料，但是還沒有對這些模式進行全面和平衡的比較。為了準確確定每個成像變體的相對強度，本研究使用阿爾茨海默病神經成像倡議（A

1、筆記搭建一個個人網站——經濟版

購買域名 價格根據域名不同會有差異 購買WEB託管服務 最便宜的一年179元 然後登陸資料庫管理 修改資料庫登陸密碼，預設是一個MYSQL 資料庫，共享的。 登陸WEB管理 修改ftp上傳密碼 修改WEB服務域名 登陸到WEB託管控制檯 主機列表,選擇購買的WEB服

P2P流媒體技術三篇論文研讀筆記(CoolStreaming)

這段時間的精力全部放在P2P流媒體技術上了 才兩三年沒接觸，原來P2P技術又有了長足的發展。 Gossip協議給P2P流媒體技術帶來的變化是革命性的，將來可能還有更好的系統出現。 CoolStreaming系統，目前看來是最好的P2P流媒體系統了。 下面是我用FreeMin

【DeepLearning】【PyTorch (1)】PyTorch官方教程個人筆記

PyTorch 官方教程 Getting Started 第一部分 Deep Learning with PyTorch: A 60 Minute Blitz 筆記 文章目錄 1. What is PyTorch? 2. Autogr

CS229機器學習個人筆記（1）——Linear Regression with One Variable

1.Model Representation 第一個學習的演算法：線性迴歸演算法。 例子描述：這個例子是預測住房價格的，我們要使用一個數據集，資料集包含俄勒岡州波特蘭市的住房價格。在這裡，我要根據不同房屋尺寸所售出的價格，畫出我的資料集。比方說，如果你朋友的房子是 1250 平方

自然語言處理組2017論文研讀1：ME-MD：一個有效的神經系統框架

ME-MD：一個有效的神經系統框架具有多個編碼器和解碼器的機器翻譯Jinchao Zhang1 Qun Liu3,1 Jie Zhou2 1Key Laboratory of IntelligentInformation Processing, Institute of Co

JDK 1.8 新特性之Stream 詳解個人筆記

雖然java 10已經發布，11 已經在路上，雖然 java EE 已經更名為 jakarta EE，但是大多數人連jdk1.8的新特性都不太瞭解，本人也是如此，所以在學習Java 8 API 新增的 Stream 的時候 做一些個人筆記，希望幫助自己的同時也能幫到大家。

《機器學習》（周志華） 習題3.1-3.3個人筆記

3.1  試分析在什麼情況下式（3.2）中不必考慮偏置項b. 其實從前面第一章開始的習題就有很多不會的，第二章更是隻會做前兩道，現在到第三章，發現第一題都不是很明瞭了。從我個人來看：f(x)=w'x+b中，x代表d維向量，w則是相應的權重向量，而b=b*x0可看做權重為b，