nvidia-smi是用來查看GPU使用情況的。我常用這個命令判斷哪幾塊GPU空閑，但是最近的GPU使用狀態讓我很困惑，於是把nvidia-smi命令顯示的GPU使用表中各個內容的具體含義解釋一下。

這是服務器上特斯拉K80的信息。
上面的表格中：
第一欄的Fan：N/A是風扇轉速，從0到100%之間變動，這個速度是計算機期望的風扇轉速，實際情況下如果風扇堵轉，可能打不到顯示的轉速。有的設備不會返回轉速，因為它不依賴風扇冷卻而是通過其他外設保持低溫（比如我們實驗室的服務器是常年放在空調房間裏的）。
第二欄的Temp：是溫度，單位攝氏度。
第三欄的Perf：是性能狀態，從P0到P12，P0表示最大性能，P12表示狀態最小性能。
第四欄下方的Pwr：是能耗，上方的Persistence-M：是持續模式的狀態，持續模式雖然耗能大，但是在新的GPU應用啟動時，花費的時間更少，這裏顯示的是off的狀態。
第五欄的Bus-Id是涉及GPU總線的東西，domain:bus:device.function
第六欄的Disp.A是Display Active，表示GPU的顯示是否初始化。
第五第六欄下方的Memory Usage是顯存使用率。
第七欄是浮動的GPU利用率。
第八欄上方是關於ECC的東西。
第八欄下方Compute M是計算模式。
下面一張表示每個進程占用的顯存使用率。

顯存占用和GPU占用是兩個不一樣的東西，顯卡是由GPU和顯存等組成的，顯存和GPU的關系有點類似於內存和CPU的關系。我跑caffe代碼的時候顯存占得少，GPU占得多，師弟跑TensorFlow代碼的時候，顯存占得多，GPU占得少。

nvidia-smi 命令解讀