今天訓練faster R-CNN時，發現之前跑的很好的程式（是指在執行程式過程中，顯示卡利用率能夠一直維持在70%以上），今天看的時候，顯示卡利用率很低，所以在想是不是我的訓練資料torch.Tensor或者模型model沒有載入到GPU上訓練，於是查詢如何檢視tensor和model所在裝置的命令。

import torch
import torchvision.models as models
model=models.vgg11(pretrained=False)
print(next(model.parameters()).is_cuda)#False

data=torch.ones((5,10))
print(data.device)#cpu

上述是我在自己的筆記本上（顯然沒有GPU）的列印情況。

上次被老闆教授了好久，出現西安卡利用率一直很低的情況千萬不能認為它不是問題，而一定要想辦法解決。比如可以在載入訓練影象的過程中（__getitem__方法中）設定資料增強過程中每個步驟的時間點，對每個步驟的時間點進行列印，判斷花費時間較多的是哪些步驟，然後嘗試對程式碼進行優化，因為torhc.utils.data中的__getitem__方法是由CPU上的一個num_workers執行一遍的，如果__getitem__方法執行太慢，則會導致IO速度變慢，即GPU在大多數時間都處於等待CPU讀取資料並處理成torch.cuda.tensor的過程，一旦CPU讀取一個batch size的資料完畢，GPU很快就計算結束，從而看到的現象是：GPU在絕大多數時間都處於利用率很低的狀態。

所以我總結的是，如果GPU顯示卡利用率比較低，最可能的就是CPU資料IO耗費時間太多（我之前就是由於資料增強的裁剪過程為了裁剪到object使用了for迴圈，導致這一操作很耗時間），還有可能的原因是資料tensor或者模型model根本就沒有載入到GPU cuda上面。其實還有一種可能性很小的原因就是，在網路前向傳播的過程中某些特殊的操作對GPU的利用率不高，當然指的是除了網路（卷積，全連線）操作之外的其他的對於tensor的操作，比如我之前的faster R-CNN顯示卡利用率低就是因為RPN中的NMS演算法速度太慢，大約2-3秒一張圖，雖然這時候tensor特徵圖在CUDA上面，而且NMS也使用了CUDA kernel編譯後的程式碼，也就是說NMS的計算仍然是利用的CPU，但是由於NMS演算法並行度不高，所以對於GPU的利用不多，導致了顯示卡利用率低，之前那個是怎麼解決的呢？

哈哈，說到底還是環境的問題非常重要，之前的faster R-CNN程式碼在python2 CUDA9.0 pytorch 0.4.0 環境下編譯成功我就沒有再仔細糾結環境問題，直接運行了，直到後來偶然換成python3 CUDA9.0pytorch 0.4.1 環境才極大地提高了顯示卡利用率，並且通過設定了幾十個列印時間點之後發現，真的就是NMS的速度現在基本能維持在0.02-0.2數量級範圍內。

下圖分別表示之前（顯示卡利用率很低）時的NMS處理單張影象所消耗的時間（之所以會有長有短是因為我支援不同解析度的影象訓練），後面一張圖是GPU利用率一直能維持在很高的情況下NMS處理時間，由於資料增強部分的程式碼完全沒有修改，故而換了環境之後我就沒有再列印資料增強每個步驟所消耗的時間了。

以上這篇pytorch檢視torch.Tensor和model是否在CUDA上的例項就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支援我們。