2. 程式人生 > >科普帖：深度學習中GPU和視訊記憶體分析

科普帖：深度學習中GPU和視訊記憶體分析

阿新 • • 發佈：2019-01-26

深度學習最吃機器，耗資源，在本文，我將來科普一下在深度學習中：

  • 何為“資源”
  • 不同操作都耗費什麼資源
  • 如何充分的利用有限的資源
  • 如何合理選擇顯示卡

並糾正幾個誤區：

  • 視訊記憶體和GPU等價，使用GPU主要看視訊記憶體的使用？
  • Batch Size 越大，程式越快，而且近似成正比？
  • 視訊記憶體佔用越多，程式越快？
  • 視訊記憶體佔用大小和batch size大小成正比？

0 預備知識

nvidia-smi是Nvidia顯示卡命令列管理套件，基於NVML庫，旨在管理和監控Nvidia GPU裝置。

nvidia-smi的輸出

這是nvidia-smi命令的輸出，其中最重要的兩個指標：

  • 視訊記憶體佔用
  • GPU利用率

視訊記憶體佔用和GPU利用率是兩個不一樣的東西，顯示卡是由GPU計算單元和視訊記憶體等組成的，視訊記憶體和GPU的關係有點類似於記憶體和CPU的關係。

這裡推薦一個好用的小工具：gpustat,直接pip install gpustat即可安裝，gpustat基於nvidia-smi，可以提供更美觀簡潔的展示，結合watch命令，可以動態實時監控GPU的使用情況。

watch --color -n1 gpustat -cpu
gpustat 輸出

視訊記憶體可以看成是空間，類似於記憶體。

  • 視訊記憶體用於存放模型，資料
  • 視訊記憶體越大，所能執行的網路也就越大

GPU計算單元類似於CPU中的核，用來進行數值計算。衡量計算量的單位是flop： the number of floating-point multiplication-adds

，浮點數先乘後加算一個flop。計算能力越強大，速度越快。衡量計算能力的單位是flops： 每秒能執行的flop數量

1*2+3                  1 flop
1*2 + 3*4 + 4*5        3 flop

1. 視訊記憶體分析

1.1 儲存指標

1Byte = 8 bit
1K = 1024 Byte
1M = 1024 K
1G = 1024 M
1T = 1024 G

10 K = 10*1024 Byte

除了K、M，G，T等之外，我們常用的還有KB 、MB，GB，TB 。二者有細微的差別。

1Byte = 8 bit
1KB = 1000 Byte
1
 
MB = 1000 KB
1GB = 1000 MB
1TB = 1000 GB

10 KB = 10000 Byte

K、M，G，T是以1024為底，而KB 、MB，GB，TB以1000為底。不過一般來說，在估算視訊記憶體大小的時候，我們不需要嚴格的區分這二者。

在深度學習中會用到各種各樣的數值型別，數值型別命名規範一般為TypeNum，比如Int64、Float32、Double64。

  • Type：有Int，Float，Double等
  • Num: 一般是 8，16，32，64，128，表示該型別所佔據的位元數目

常用的數值型別如下圖所示：

常用的數值型別

其中Float32 是在深度學習中最常用的數值型別，稱為單精度浮點數，每一個單精度浮點數佔用4Byte的視訊記憶體。

舉例來說：有一個1000x1000的 矩陣，float32，那麼佔用的視訊記憶體差不多就是

1000x1000x4 Byte = 4MB

32x3x256x256的四維陣列（BxCxHxW）佔用視訊記憶體為：24M

1.2 神經網路視訊記憶體佔用

神經網路模型佔用的視訊記憶體包括：

  • 模型自身的引數
  • 模型的輸出

舉例來說，對於如下圖所示的一個全連線網路(不考慮偏置項b)

模型的輸入輸出和引數

模型的視訊記憶體佔用包括：

  • 引數：二維陣列 W
  • 模型的輸出： 二維陣列 Y

輸入X可以看成是上一層的輸出，因此把它的視訊記憶體佔用歸於上一層。

這麼看來視訊記憶體佔用就是W和Y兩個陣列？

並非如此！！！

下面細細分析。

1.2.1 引數的視訊記憶體佔用

只有有引數的層，才會有視訊記憶體佔用。這部份的視訊記憶體佔用和輸入無關，模型載入完成之後就會佔用。

有引數的層主要包括：

  • 卷積
  • 全連線
  • BatchNorm
  • Embedding層
  • ... ...

無引數的層：

  • 多數的啟用層(Sigmoid/ReLU)
  • 池化層
  • Dropout
  • ... ...

更具體的來說，模型的引數數目(這裡均不考慮偏置項b)為：

  • Linear(M->N): 引數數目：M×N
  • Conv2d(Cin, Cout, K): 引數數目：Cin × Cout × K × K
  • BatchNorm(N): 引數數目： 2N
  • Embedding(N,W): 引數數目： N × W

引數佔用視訊記憶體 = 引數數目×n

n = 4 ：float32

n = 2 : float16

n = 8 : double64

在PyTorch中，當你執行完model=MyGreatModel().cuda()之後就會佔用相應的視訊記憶體，佔用的視訊記憶體大小基本與上述分析的視訊記憶體差不多（會稍大一些，因為其它開銷）。

1.2.2 梯度與動量的視訊記憶體佔用

舉例來說， 優化器如果是SGD：

W_{t+1} = W_{t} - \alpha \nabla F(W_t)

可以看出來，除了儲存W之外還要儲存對應的梯度 \nabla F(W) ，因此視訊記憶體佔用等於引數佔用的視訊記憶體x2,

如果是帶Momentum-SGD

v_{t+1} = \rho v_t + \nabla F(W_t)\\ W_{t+1} = W_{t} - \alpha v_{t+1}

這時候還需要儲存動量， 因此視訊記憶體x3

如果是Adam優化器，動量佔用的視訊記憶體更多，視訊記憶體x4

總結一下，模型中與輸入無關的視訊記憶體佔用包括：

  • 引數 W
  • 梯度 dW（一般與引數一樣）
  • 優化器的動量（普通SGD沒有動量，momentum-SGD動量與梯度一樣，Adam優化器動量的數量是梯度的兩倍）

1.2.3 輸入輸出的視訊記憶體佔用

這部份的視訊記憶體主要看輸出的feature map 的形狀。

feature map

比如卷積的輸入輸出滿足以下關係：

據此可以計算出每一層輸出的Tensor的形狀，然後就能計算出相應的視訊記憶體佔用。

模型輸出的視訊記憶體佔用，總結如下：

  • 需要計算每一層的feature map的形狀（多維陣列的形狀）
  • 模型輸出的視訊記憶體佔用與 batch size 成正比
  • 需要儲存輸出對應的梯度用以反向傳播（鏈式法則）
  • 模型輸出不需要儲存相應的動量資訊（因為不需要執行優化）

深度學習中神經網路的視訊記憶體佔用，我們可以得到如下公式：

視訊記憶體佔用 = 模型視訊記憶體佔用 + batch_size × 每個樣本的視訊記憶體佔用

可以看出視訊記憶體不是和batch-size簡單的成正比，尤其是模型自身比較複雜的情況下：比如全連線很大，Embedding層很大

另外需要注意：

  • 輸入（資料，圖片）一般不需要計算梯度
  • 神經網路的每一層輸入輸出都需要儲存下來，用來反向傳播，但是在某些特殊的情況下，我們可以不要儲存輸入。比如ReLU，在PyTorch中，使用nn.ReLU(inplace = True) 能將啟用函式ReLU的輸出直接覆蓋保存於模型的輸入之中，節省不少視訊記憶體。感興趣的讀者可以思考一下，這時候是如何反向傳播的（提示：y=relu(x) -> dx = dy.copy();dx[y<=0]=0）

1.3 節省視訊記憶體的方法

在深度學習中，一般佔用視訊記憶體最多的是卷積等層的輸出，模型引數佔用的視訊記憶體相對較少，而且不太好優化。

節省視訊記憶體一般有如下方法：

  • 降低batch-size
  • 下采樣(NCHW -> (1/4)*NCHW)
  • 減少全連線層（一般只留最後一層分類用的全連線層）

2 計算量分析

計算量的定義，之前已經講過了，計算量越大，操作越費時，執行神經網路花費的時間越多。

2.1 常用操作的計算量

常用的操作計算量如下：

  • 全連線層：BxMxN , B是batch size，M是輸入形狀，N是輸出形狀。
  • 卷積的計算量: BHWC_{out}C_{in}K^2
卷積的計算量分析
  • BatchNorm 計算量我個人估算大概是 BHWC\times \{4,5,6\} ， 歡迎指正
  • 池化的計算量： BHWCK^2
  • ReLU的計算量： BHWC

2.2 AlexNet 分析

AlexNet的分析如下圖，左邊是每一層的引數數目（不是視訊記憶體佔用），右邊是消耗的計算資源

AlexNet分析

可以看出：

  • 全連線層佔據了絕大多數的引數
  • 卷積層的計算量最大

2.3 減少卷積層的計算量

今年穀歌提出的MobileNet，利用了一種被稱為DepthWise Convolution的技術，將神經網路執行速度提升許多，它的核心思想就是把一個卷積操作拆分成兩個相對簡單的操作的組合。如圖所示, 左邊是原始卷積操作，右邊是兩個特殊而又簡單的卷積操作的組合（上面類似於池化的操作，但是有權重，下面類似於全連線操作）。

Depthwise Convolution

這種操作使得：

  • 視訊記憶體佔用變多(每一步的輸出都要儲存)
  • 計算量變少了許多，變成原來的（ {1\over C_{out} } + \frac 1 {k^2} ）（一般為原來的10－15%）

2.4 常用模型 視訊記憶體/計算複雜度/準確率

去年一篇論文()總結了當時常用模型的各項指標，橫座標是計算複雜度（越往右越慢，越耗時），縱座標是準確率（越高越好），圓的面積是引數數量（不是視訊記憶體佔用）。左上角我畫了一個紅色小圓，那是最理想的模型的的特點：快，效果好，佔用視訊記憶體小。

常見模型計算量/視訊記憶體/準確率

3 總結

3.1 建議

  • 時間更寶貴，儘可能使模型變快（減少flop）
  • 視訊記憶體佔用不是和batch size簡單成正比，模型自身的引數及其延伸出來的資料也要佔據視訊記憶體
  • batch size越大，速度未必越快。在你充分利用計算資源的時候，加大batch size在速度上的提升很有限

尤其是batch-size，假定GPU處理單元已經充分利用的情況下：

  • 增大batch size能增大速度，但是很有限（主要是平行計算的優化）
  • 增大batch size能減緩梯度震盪，需要更少的迭代優化次數，收斂的更快，但是每次迭代耗時更長。
  • 增大batch size使得一個epoch所能進行的優化次數變少，收斂可能變慢，從而需要更多時間才能收斂（比如batch_size 變成全部樣本數目）。

3.2 關於顯示卡選購

當前市面上常用的顯示卡指標如下：

常見顯示卡指標

顯然GTX 1080TI價效比最高，速度超越新Titan X，價格卻便宜很多，視訊記憶體也只少了1個G（據說故意閹割掉一個G，不然全面超越了Titan X怕激起買Titan X人的民憤~）。

  • K80價效比很低（速度慢，而且賊貴）
  • 注意GTX TITAN和Nvidia TITAN的區別，別被騙

另外，針對本文，我做了一個Google 幻燈片：神經網路效能分析，國內使用者可以點此下載ppt。Google幻燈片格式更好，後者格式可能不太正常。

本文都是針對單機單卡的分析，分散式的情況會和這個有所區別。在分析計算量的時候，只分析了前向傳播，反向傳播計算量一般會與前向傳播有細微的差別。

限於本人水平，文中有疏漏之處，還請指正。

相關推薦

科普帖：深度學習中GPU和視訊記憶體分析

深度學習最吃機器，耗資源，在本文，我將來科普一下在深度學習中： 何為“資源”不同操作都耗費什麼資源如何充分的利用有限的資源如何合理選擇顯示卡並糾正幾個誤區： 視訊記憶體和GPU等價，使用GPU主要看視訊記憶體的使用？Batch Size 越大，程式越快，而且近似成正比？視訊記憶體佔用越多，程式越快？視訊記憶

深度學習中 GPU 和視訊記憶體分析 深度學習中 GPU 和視訊記憶體分析

轉 深度學習中 GPU 和視訊記憶體分析 2017年12月21日 14:05:01 lien0906 閱讀數：5941 更多

機器學習：深度學習中的遷移學習

遷移學習也是最近機器學習領域很火熱的一個方向，尤其是基於深度學習的遷移學習。遷移學習，顧名思義，就是要遷移，有句成語叫觸類旁通，模型在某個任務上學習到知識，當遇到類似任務的時候，應該可以很快的把以前任務學到知識遷移過來。這是擬人化的描述，按照目前主流的 “資料驅動” 型的學習方式，我們所

深度學習中Dropout和Layer Normalization技術的使用

兩者的論文： Dropout：http://www.jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf Layer Normaliza

漫談：機器學習中距離和相似性度量方法

在機器學習和資料探勘中，我們經常需要知道個體間差異的大小，進而評價個體的相似性和類別。最常見的是資料分析中的相關分析，資料探勘中的分類和聚類演算法，如 K 最近鄰（KNN）和 K 均值（K-Means）等等。根據資料特性的不同，可以採用不同的度量方法。一般而言，定義一個距離函式 d(x,y), 需要滿足下

[6]深度學習和Keras---- 深度學習中的一些難理解的基礎概念：softmax， batch，min-batch，iterations，epoch，SGD

在進行深度學習的過程中，我們經常會遇到一些自己不懂的概念和術語，比如，softmax， batch，min-batch，iterations，epoch，那麼如何快速和容易的理解這些術語呢？ 因為筆者也是深度學習的初學者，所以筆者在學習和瀏覽文章的過程中，把一些自己不太容易和

深度學習中的數學與技巧(7)：特徵值和特徵向量的幾何意義、計算及其性質

一、特徵值和特徵向量的幾何意義 特徵值和特徵向量確實有很明確的幾何意義，矩陣（既然討論特徵向量的問題，當然是方陣，這裡不討論廣義特徵向量的概念，就是一般的特徵向量）乘以一個向量的結果仍是同維數的一個向量。因此，矩陣乘法對應了一個變換，把一個向量變成同維數的另一個向量。

【深度學習】【物聯網】深度解讀：深度學習在IoT大資料和流分析中的應用

作者｜Natalie編輯｜EmilyAI 前線導讀：在物聯網時代，大量的感知器每天都在收集併產生

20180813視頻筆記 深度學習基礎上篇（1）之必備基礎知識點 深度學習基礎上篇（2）神經網絡模型視頻筆記：深度學習基礎上篇（3）神經網絡案例實戰 和 深度學習基礎下篇

計算 概念 人臉識別 大量 png 技巧 表現 lex github 深度學習基礎上篇（3）神經網絡案例實戰 https://www.bilibili.com/video/av27935126/?p=1 第一課:開發環境的配置 Anaconda的安裝 庫的安裝 Windo

python學習（五）：Python類中super()和__init__()的關係

1.單繼承時super()和__init__()實現的功能是類似的 class Base(object): def __init__(self): print 'Base create' class childA(Base): def __init__(sel

深度學習中的Xavier初始化和He Initialization（MSRA初始化）、Tensorflow中如何選擇合適的初始化方法?

Xavier初始化： 論文：Understanding the difficulty of training deep feedforward neural networks 論文地址：http://proceedings.mlr.press/v9/glorot10a/glorot10a

達觀資料於敬：深度學習來一波，受限玻爾茲曼機原理及在推薦系統中的應用

深度學習相關技術近年來在工程界可謂是風生水起，在自然語言處理、影象和視訊識別等領域得到極其廣泛的應用，並且在效果上更是碾壓傳統的機器學習。一方面相對傳統的機器學習，深度學習使用更多的資料可以進行更好的擴充套件，並且具有非常優異的自動提取抽象特徵的能力。 另外得益於GPU、SSD儲存、大

3_深度學習中顯示卡的使用和現存的分配（20181213）

深度學習中顯示卡的使用和視訊記憶體的分配（20181213） 1、tensorflow 中顯示卡使用和視訊記憶體分配 1、顯示卡的使用，單顯示卡和多顯示卡使用 1、tensorflow禁用gpu： 2、視訊記憶體

【轉載】演講實錄：百度大規模深度學習應用實踐和開源AI框架PaddlePaddle

導語：本文根據PaddlePaddle技術負責人、百度NLP技術委員會主席於佃海在今年英特爾人工智慧大會上的演講——《百度大規模深度學習應用實踐和開源AI框架PaddlePaddle》整理而成。 PaddlePaddle技術負責人、百度NLP技術委員會主席於佃海 正文： 很高興能

MxNet學習：優化深度學習中的記憶體消耗

在過去的十年中，深度學習的一個持續的趨勢是向更深更大的網路發展。儘管硬體效能迅速提高，但先進的深度學習模型仍在不斷挑戰GPU RAM的極限。因此，即使在今天，人們仍然希望找到一種方法來訓練更大的模型，同時消耗更少的記憶體。這樣做可以讓我們更快地進行訓練，使用更大的批處理大小，從而實現更高

深度學習中常見分佈-正態分佈和伽瑪分佈

正態分佈（Normal distribution）又名高斯分佈（Gaussian distribution），是一個在數學、物理及工程等領域都非常重要的概率分佈，在統計學的許多方面有著重大的影響力。 若隨機變數X服從一個數學期望為μ、標準方差為σ2的高斯分佈，記為：

深度學習中卷積和池化的總結

深度學習中卷積和池化的總結 涉及到padding的設定：https://www.jianshu.com/p/05c4f1621c7e 以及strides=[batch, height, width, channels]中，第一個、第三個引數必須為1的解釋。http://www.itdaa

深度學習中卷積和池化的一些總結

最近完成了hinton的深度學習課程的卷積和池化的這一章節了，馬上就要結束了。這個課程的作業我寫的最有感受，待我慢慢說來。 1：裡面有幾個理解起來的難點，一個是卷積，可以這麼來理解。 這幅圖是對一個5*5的矩陣A進行3*3的矩陣B的卷積，那麼就從最上角到右下角，生成卷積之

深度學習中的三種梯度下降方式：批量（batch），隨機（stochastic），小批量（mini-batch）

　　1，批量梯度下降法（Batch Gradient Descent） ：在更新引數時都使用所有的樣本來進行更新。 　　優點：全域性最優解，能保證每一次更新權值，都能降低損失函式；易於並行實現。 　　缺點：當樣本數目很多時，訓練過程會很慢。 　　2，隨機梯度下降法（Stoch

深度學習中常見的打標籤工具和資料集集合

     集大家之所長彙集於此，希望對有需要的你能有所幫助。 一、打標籤工具 （1）labelimg/labelme 這兩款工具簡便易行，前者主要用於對目標進行大致的標定，用於常見的框選標定，後者主要用於較為細緻的輪廓標定，多用於mask rcnn等。安裝也是很方便的，