2. 程式人生 > >batch normalization 批歸一化 --- 一個硬幣的兩面

batch normalization 批歸一化 --- 一個硬幣的兩面

阿新 • • 發佈：2018-12-08

本文主要是對BN(batch normalization)這篇論文的摘錄，加上一些其他論文，輔助理解。

 

批歸一化是在Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 這篇論文中提出的，主要的思想就是要將每一個隱藏神經元的輸入變成是一個均值為0，方差為1的分佈，便於加快training過程。

----------------------------------作者這麼說----------------------------------------------------------------
具體實施是這樣的

 

對於每一次的mini-batch會去算一波均值和方差，當然，這些x是針對一個神經元的輸入了

在推斷的過程中，也要做歸一化，因為推斷的時候只有一個樣本輸入，方差和均值的計算其實是之前的若干個mini-batch的均值和方差的平均

這個地方需要注意的一點是，方差採用的是無偏估計，對每一個mini-batch，計算出來的方差用的是下面這個式子。不明白的是為什麼這個地方採用無偏估計，而之前不採用呢，估計是為了引入noise，有一個類似drop out的作用？

 

 

具體在使用的過程中，BN這一層呢，一般是加在非線性層之前，就是relu之類的之前。

對於CNN網路來說，BN是一個feature map共用一個gamma和beta，因為預設不光是一個神經元的輸入應該滿足同一個分佈，而是同一個feature map的都應該滿足，所以如果feature map是q*p的大小，對於大小為m的mini-batch而言，其實是計算m*p*q的整個的均值和方差，而不是像之前只要計算m個input值的。

--------------------------------------------其他論文這麼說-------------------------------------------------------------

 下面看到的這個段落來自super resolution中著名的網路

EDSR論文，在這篇論文中，作者沒有用到BN，他們的說法是因為BN層會讓特徵被歸一化，從而降低變化範圍的自由度。他們的實驗證明了去掉BN層會讓影象細節部分表現更好。並且，他們表示，去掉了BN層之後，GPU的記憶體使用也被極大地減小了，因為BN層和卷積層佔用一樣多的記憶體。

 

相關推薦

batch normalization 批歸一化 --- 一個硬幣的兩面

本文主要是對BN(batch normalization)這篇論文的摘錄，加上一些其他論文，輔助理解。   批歸一化是在Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate S

Batch Normolization(批歸一化）

Why: Internal  Covariate Shift:網路中間層在訓練過程中，輸入資料分佈的改變。訓練過程中引數會不斷的更新，前面層訓練引數的更新將導致後面層輸入資料分佈的變化。 因此，模型引數要不斷去適應這種隨迭代變化的輸入分佈，這回導致模型引數學習很慢。如果能

【深度學習】批歸一化（Batch Normalization）

學習 src 試用 其中 put min 平移 深度 優化方法 BN是由Google於2015年提出，這是一個深度神經網絡訓練的技巧，它不僅可以加快了模型的收斂速度，而且更重要的是在一定程度緩解了深層網絡中“梯度彌散”的問題，從而使得訓練深層網絡模型更加容易和穩定。所以目前

批歸一化Batch Normalization的原理及演算法

    一、BN提出的背景意義 本文的背景文獻是：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，Batch Norma

批歸一化（Batch Normalization）、L1正則化和L2正則化

from: https://www.cnblogs.com/skyfsm/p/8453498.html https://www.cnblogs.com/skyfsm/p/8456968.html BN是由Google於2015年提出，這是一個深度神經網路訓練的技巧，它不僅可以加快了

CNN 中的BN（batch normalization）“批歸一化”原理

在看 ladder network(https://arxiv.org/pdf/1507.02672v2.pdf) 時初次遇到batch normalization（BN）. 文中說BN能加速收斂等好處，但是並不理解，然後就在網上搜了些關於BN的資料。

批歸一化Batch Normalization

“ 真正牛逼的，不是那些可以隨口拿來誇耀的事蹟，而是那些在困境中依然保持微笑的凡人。”   說一說BN層吧 最近狂補基礎，還是學得不夠~ 加油， 送給所有心存堅持的人。   一、BN提出的背景意義 《Batch Normalization

機器學習------批歸一化（Batch Normalization, BN）

　　取自孫明的＂數字影象處理與分析基礎＂ 　　從字面意思上理解Batch Normalization就是對每一批資料進行歸一化，確實如此，對於訓練中某一個batch的資料{x1x1, x2x2, ……, xnxn}，注意這個資料可以是輸入也可以是中間某一層的

何愷明、吳育昕最新成果：用組歸一化替代批歸一化

編譯 | 阿司匹林AI科技大本營按：近日，FAIR 團隊的吳育昕和何愷明提出了組歸一化（Grou

批歸一化

Batch Normalization 學習筆記 作者：hjimce 一、背景意義 本篇博文主要講解2015年深度學習領域，非常值得學習的一篇文獻：《Batch Normalization: Accelerating Deep Network Training by  

深度學習 --- 優化入門五（Batch Normalization（批量歸一化）二）

批歸一化真的可以解決內部協方差偏移問題？如果不能解決，那它的作用是什麼？你所接受的整個深度學習教育是一個謊言嗎？讓我們來尋找答案吧！ 開始之前...... 我想提醒一下，本文是深度學習優化算法系列的第四篇，前三篇文章討論了： 隨機梯度下降如何克服深度學習中的區域性極小值和鞍點

深度學習 --- 優化入門四（Batch Normalization（批量歸一化）一）

前幾節我們詳細的探討了，梯度下降存在的問題和優化方法，本節將介紹在資料處理方面很重要的優化手段即批量歸一化（批量歸一化）。 批量歸一化（Batch Normalization）並不能算作是一種最優化演算法，但其卻是近年來優化深度神經網路最有用的技巧之一，並且這種方法非常的簡潔方便，可以和其他

從頭學pytorch(十九):批量歸一化batch normalization

批量歸一化 論文地址:https://arxiv.org/abs/1502.03167 批量歸一化基本上是現在模型的標配了. 說實在的,到今天我也沒搞明白batch normalize能夠使得模型訓練更穩定的底層原因,要徹底搞清楚,涉及到很多凸優化的理論,需要非常紮實的數學基礎才行. 目前為止,我理解的批量歸

轉：數據標準化/歸一化normalization

簡單 此外 urn csdn bsp center sum 又能 超出 轉自：數據標準化/歸一化normalization 這裏主要講連續型特征歸一化的常用方法。離散參考[數據預處理：獨熱編碼（One-Hot Encoding）]。 基礎知識參考： [均值、方差與協方

DIFFERENTIABLE LEARNING-TO-NORMALIZE VIA SWITCHABLE NORMALIZATION(SN,切換歸一化)

這是根據不同作者寫的以及我個人的理解做出的總結，只是方便我個人下次閱讀，如有侵權，請聯絡我刪除。   論文參考：https://zhuanlan.zhihu.com/p/39296570 論文參考：http://www.sohu.com/a/241640030_395209

深度學習基礎--正則化與norm--區域性響應歸一化層(Local Response Normalization, LRN)

區域性響應歸一化層(Local Response Normalization, LRN)   區域性響應歸一化層完成一種“臨近抑制”操作，對區域性輸入區域進行歸一化。   該層實際上證明已經沒啥用了，一般也不用了。   參考資料：見郵件 公式與計算   該層需要的引數包括：  

cs231 卷積神經網路Convolutional Networks群組歸一化GN( Group Normalization)

cs231 Convolutional Networks Group Normalization:     def spatial_groupnorm_forward(x, gamma, beta, G, gn_param): """ Co

幾種歸一化方法（Normalization Method）python實現

資料歸一化問題是資料探勘中特徵向量表達時的重要問題，當不同的特徵成列在一起的時候，由於特徵本身表達方式的原因而導致在絕對數值上的小資料被大資料“吃掉”的情況，這個時候我們需要做的就是對抽取出來的features vector進行歸一化處理，以保證每個特徵被分類器平等對待。

歸一化 （Normalization）、標準化 （Standardization）和中心化/零均值化 （Zero-centered）

1 概念   歸一化：１）把資料變成(０，１)或者（1,1）之間的小數。主要是為了資料處理方便提出來的，把資料對映到0～1範圍之內處理，更加便捷快速。２）把有量綱表示式變成無量綱表示式，便於不同單位或量級的指標能夠進行比較和加權。歸一化是一種簡化計算的方式，即將有量綱的表示式

區域性響應歸一化（Local Response Normalization）

LRN是一種提高深度學習準確度的技術方法。LRN一般是在啟用、池化函式後的一種方法。  在ALexNet中，提出了LRN層，對區域性神經元的活動建立競爭機制，使其中響應比較大對值變得相對更大，並抑制其他反饋較小的神經元，增強了模型的泛化能力。 在2012的Alexnet網路