深度學習需要進行大量的矩陣相乘和向量運算，而 GPU (圖形處理單元) 可以並行處理這些運算，因為 GPU 擁有數以千計的核心。Amazon Web Services 為您提供的 P2 或 P3 例項非常適用於執行深度學習框架，如 MXNet，該框架強調加速部署大型深度神經網路。

資料科學家和開發人員在微調網路時，希望優化其 GPU 的利用率，以使用最適當的批處理大小。在這篇博文中，我將向您展示如何使用 Amazon CloudWatch 指標監控 GPU 和記憶體的使用情況。至於 Amazon 系統映像 (AMI)，我們建議您的例項使用 Amazon Deep Learning AMI

要監控和管理已啟用 GPU 的例項，目前常見的有益做法是使用 NVIDIA 系統管理介面 (nvidia-smi)，這是一個命令列實用程式。使用者可以利用 nvidia-smi 查詢 NVIDIA GPU 裝置的 GPU 利用率、記憶體消耗情況、風扇使用情況、功耗以及溫度資訊。

由於 nvidia-smi 的基礎是 NVIDIA Management Library (NVML)，所以我們可以使用這個基於 C 的 API 庫捕捉相同的資料點，並作為自定義指標傳送給 Amazon CloudWatch。如需瞭解有關此庫的更多資訊，請轉至參考手冊

Amazon CloudWatch 可以非常出色地監控您在 EC2 例項上的工作負載，無需設定、管理，也無需為它擴充套件系統和基礎設施。預設情況下 CloudWatch 可提供 CPU 利用率、磁碟讀取操作、磁碟寫入操作、網路輸入和網路輸出等指標。(點選此處瞭解適用於您的例項的完整指標列表)

除了提供這些指標，我們還能夠使用 API、軟體開發工具包或 CLI 通過 Amazon CloudWatch 自定義指標推送我們自己的資料點。我們將使用 Python Boto3 軟體開發工具包。

您可以在 Amazon CloudWatch 中建立

立即設定

預設情況下，已對您的例項啟用基本監控。我們會啟用詳細監控，Amazon EC2 控制檯將以 1 分鐘為間隔顯示例項的監控狀態。

注意：基本監控是免費的，但詳細監控會收取費用。新客戶和現有客戶每月可免費獲得 10 個指標、10 個警報，以及 100 萬個 API 請求 (包括 PutMetricData)。

鑑於您的例項已執行在 Deep Learning AMI 之上，我們需要建立一個 IAM 角色，為您的例項授權，使其能夠向 Amazon CloudWatch 推送指標。我們需要根據文件中的描述建立一個 EC2 服務角色。請確保您的角色允許以下策略。

{  
    "Version": "2012-10-17",   
    "Statement": [     
         {       
             "Action": [         
                 "cloudwatch:PutMetricData",         
              ],       
              "Effect": "Allow",       
              "Resource": "*"     
         }   
    ] 
}

接下來在您的例項上下載 Python 程式碼。我們將使用此指令碼，將 GPU 使用情況、記憶體使用情況、溫度和電源使用情況作為自定義 CloudWatch 指標進行推送。

安裝必要的程式包，以使用程式碼：

sudo pip install nvidia-ml-py -y
sudo pip install boto3 -y

請確保根據您的工作負載更改名稱空間和間隔。您還可以選擇更改 store_reso，使用間隔縮短至 1 秒的高精度指標，從而更精確地瞭解 GPU 的使用情況。

預設情況下，這些是頂部的引數：

#在此處選擇名稱空間引數###
my_NameSpace = ‘DeepLearningTrain’
### 選擇推送間隔 ####
sleep_interval = 10
### 選擇儲存精度 (在 1-60 之間) ####
store_reso = 60

執行指令碼：

python gpumon.py

訓練完成後按 ctrl-z 或 ctrl-c 停止指令碼。

以下是一個正在執行的訓練的 Amazon CloudWatch 檢視示例。請觀察在計算過程中所有指標是如何互相關聯的。

結論

在這篇博文中，我將提供一種簡便的方法，它不僅可以監控 GPU 利用率，還可以監控您的 NVIDIA GPU 裝置的記憶體、溫度和電源使用情況。如果您要新增其他自定義指標或刪除自定義指標，可以修改我提供的程式碼。接下來，就像我們在介紹時提到的，要嘗試為您的指標建立 CloudWatch 警報。例如，您可以設定 Amazon SNS 通知，在模型訓練期間，GPU 利用率低於 20% 即向您傳送電子郵件。

補充閱讀

作者簡介

Keji Xu 是 AWS 的解決方案架構師，現居舊金山。他幫助客戶理解雲端高階解決方案，以及如何將現有的工作負載遷移到雲，以實現客戶的業務目標。他在閒暇時喜歡聆聽音樂，以及為他的新英格蘭運動隊加油吶喊。