nvidia-smi是 Nvidia 顯示卡命令列管理套件，基於 NVML 庫，旨在管理和監控 Nvidia GPU 裝置。

nvidia-smi 的輸出

這是 nvidia-smi 命令的輸出，其中最重要的兩個指標：

視訊記憶體佔用
GPU 利用率
視訊記憶體佔用和 GPU 利用率是兩個不一樣的東西，顯示卡是由 GPU 計算單元和視訊記憶體等組成的，視訊記憶體和 GPU 的關係有點類似於記憶體和 CPU 的關係。

這裡推薦一個好用的小工具：gpustat, 直接pip install gpustat即可安裝，gpustat 基於nvidia-smi，可以提供更美觀簡潔的展示，結合 watch 命令，可以動態實時監控 GPU 的使用情況。
watch --color -n1 gpustat -cpu

視訊記憶體可以看成是空間，類似於記憶體。

視訊記憶體用於存放模型，資料
視訊記憶體越大，所能執行的網路也就越大
GPU 計算單元類似於 CPU 中的核，用來進行數值計算。衡量計算量的單位是 flop： the number of floating-point multiplication-adds，浮點數先乘後加算一個 flop。計算能力越強大，速度越快。衡量計算能力的單位是 flops： 每秒能執行的 flop 數量

1*2+3 1 flop
1*2 + 3*4 + 4*5 3 flop