> 原文連結：[https://fuckcloudnative.io/posts/add-nvidia-gpu-support-to-k8s-with-containerd/](https://fuckcloudnative.io/posts/add-nvidia-gpu-support-to-k8s-with-containerd/) 前兩天鬧得沸沸揚揚的事件不知道大家有沒有聽說，Google 竟然將 `Docker` 踢出了 `Kubernetes` 的群聊，不帶它玩了。。。 具體的解釋請看《聽說 K8s 要甩了 Docker 了》，我這裡簡單描述下，Kubernetes 是通過 CRI 來對接容器執行時的，而 Docker 本身是沒有實現 CRI 的，所以 Kubernetes 內建了一個 “為 Docker 提供 CRI 支援” 的 `dockershim` 元件。現在 Kubernetes 宣佈不再維護這個元件了，大概的意思就是：**Docker 雖然好用，但那是對人來說的，Kubernetes 又不是人，不需要那些花裡胡哨的東西！** Kubernetes 這是話裡有話，說白了就是：**我特麼以前為了相容你，我整合在我自己這裡，現在我就想自己單純一點，要麼你自己寫 CRI 的介面 要麼就再見。** 眾 YAML 工程師直呼 Containerd 真香！ 下面進入今天的主題，Kubernetes 具有對機器的資源進行分配和使用的能力，比如可以指定容器最多使用多少記憶體以及使用多少 CPU 計算資源。那麼問題來了，一般來說容器就是使用 CPU 和記憶體資源，那麼對於需要使用顯示卡的 Pod，Kubernetes 也能夠支援嗎？答案當然是可以啦！目前 Kubernetes 不僅支援容器請求 `GPU` 資源，還支援請求幾塊顯示卡的 GPU 資源，這使得 Kubernetes 在深度學習和區塊鏈等場景下也有了用武之地。 關於 Kubernetes 叢集中 Docker 如何使用 GPU，Kubernetes 的官方文件已經說的很清楚了，網上也有鋪天蓋地的部落格手把手教你怎麼做。至於以 Containerd 作為容器執行時的叢集如何使用 GPU，網上還找不到一篇像樣的文件來告訴大家怎麼做，今天我就來做吃螃蟹的第一人。 要想在容器裡使用 GPU，本質上就是我們要在容器裡能看到並且使用宿主機上的顯示卡，所有的步驟都是圍繞這個來做的。當然，本文不會涉及如何安裝 Containerd，也不會涉及如何安裝 Kubernetes，如果這些都搞不定，建議不要往下看。 ## 1. Nvidia 驅動 某些命令以 Ubuntu 作為示例。 首先宿主機上必現安裝 Nvidia 驅動。這裡推薦從 Nvidia 官網下載指令碼安裝，安裝和解除安裝都比較方便並且適用於任何 Linux 發行版，包括 CentOS，Ubuntu 等。 NVIDIA Telsa GPU 的 Linux 驅動在安裝過程中需要編譯 kernel module，系統需提前安裝 gcc 和編譯 Linux Kernel Module 所依賴的包，例如 kernel-devel-$(uname -r) 等。 - 安裝 gcc 和 kernel-dev(如果沒有) `sudo apt install gcc kernel-dev -y`。 - 訪問[官網](https://www.nvidia.com/Download/Find.aspx)下載。 - 選擇作業系統和安裝包，並單擊【SEARCH】搜尋驅動，選擇要下載的驅動版本  - 下載對應版本安裝指令碼 在宿主機上執行： ```bash $ wget https://www.nvidia.com/content/DriverDownload-March2009/confirmation.php?url=/tesla/450.80.02/NVIDIA-Linux-x86_64-450.80.02.run&lang=us&type=Tesla ``` - 安裝 執行指令碼安裝： ```bash $ chmod +x NVIDIA-Linux-x86_64-450.80.02.run && ./NVIDIA-Linux-x86_64-450.80.02.run ``` - 驗證 使用如下命令驗證是否安裝成功 `nvidia-smi` 如果輸出類似下圖則驅動安裝成功。  ## 2. CUDA 驅動 > CUDA（Compute Unified Device Architecture）是顯示卡廠商 NVIDIA 推出的運算平臺。CUDA™ 是一種由 NVIDIA 推出的通用平行計算架構，該架構使 GPU 能夠解決複雜的計算問題。它包含了 CUDA 指令集架構（ISA）以及 GPU 內部的平行計算引擎。 這裡安裝的方式和顯示卡驅動安裝類似。 + 訪問[官網](https://developer.nvidia.com/cuda-toolkit-archive)下載 + 下載對應版本如下圖  + 配置環境變數 ```bash $ echo 'export PATH=/usr/local/cuda/bin:$PATH' | sudo tee /etc/profile.d/cuda.sh $ source /etc/profile ``` ## 3. nvidia-container-runtime nvidia-container-runtime 是在 runc 基礎上多實現了 nvidia-container-runime-hook(現在叫 nvidia-container-toolkit)，該 hook 是在容器啟動後（Namespace已建立完成），容器自定義命令(Entrypoint)啟動前執行。當檢測到 NVIDIA_VISIBLE_DEVICES 環境變數時，會呼叫 libnvidia-container 掛載 GPU Device 和 CUDA Driver。如果沒有檢測到 NVIDIA_VISIBLE_DEVICES 就會執行預設的 runc。 下面分兩步安裝： 先設定 repository 和 GPG key： ```bash $ curl -s -L https://nvidia.github.io/nvidia-container-runtime/gpgkey | sudo apt-key add - $ curl -s -L https://nvidia.github.io/nvidia-container-runtime/$(. /etc/os-release;echo $ID$VERSION_ID)/nvidia-container-runtime.list | sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list ``` 安裝： ```bash $ apt install nvidia-container-runtime -y ``` ### 配置 Containerd 使用 Nvidia container runtime 如果 `/etc/containerd` 目錄不存在，就先建立它： ```bash $ mkdir /etc/containerd ``` 生成預設配置： ```bash $ containerd config default > /etc/containerd/config.toml ``` Kubernetes 使用[裝置外掛（Device Plugins）](https://v1-18.docs.kubernetes.io/zh/docs/concepts/extend-kubernetes/compute-storage-net/device-plugins/) 來允許 Pod 訪問類似 GPU 這類特殊的硬體功能特性，但前提是預設的 OCI runtime 必須改成 `nvidia-container-runtime`，需要修改的內容如下： **/etc/containerd/config.toml** ```toml ... [plugins."io.containerd.grpc.v1.cri".containerd] snapshotter = "overlayfs" default_runtime_name = "runc" no_pivot = false ... [plugins."io.containerd.grpc.v1.cri".containerd.runtimes] [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc] runtime_type = "io.containerd.runtime.v1.linux" # 將此處 runtime_type 的值改成 io.containerd.runtime.v1.linux ... [plugins."io.containerd.runtime.v1.linux"] shim = "containerd-shim" runtime = "nvidia-container-runtime" # 將此處 runtime 的值改成 nvidia-container-runtime ... ``` 重啟 containerd 服務： ```bash $ systemctl restart containerd ``` ## 4. 部署 NVIDIA GPU 裝置外掛 一條命令解決戰鬥： ```bash $ kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.7.1/nvidia-device-plugin.yml ``` 檢視日誌： ```bash $ kubectl -n kube-system logs nvidia-device-plugin-daemonset-xxx 2020/12/04 06:30:28 Loading NVML 2020/12/04 06:30:28 Starting FS watcher. 2020/12/04 06:30:28 Starting OS watcher. 2020/12/04 06:30:28 Retreiving plugins. 2020/12/04 06:30:28 Starting GRPC server for 'nvidia.com/gpu' 2020/12/04 06:30:28 Starting to serve 'nvidia.com/gpu' on /var/lib/kubelet/device-plugins/nvidia-gpu.sock 2020/12/04 06:30:28 Registered device plugin for 'nvidia.com/gpu' with Kubelet ``` 可以看到裝置外掛部署成功了。在 Node 上面可以看到裝置外掛目錄下的 socket： ```bash $ ll /var/lib/kubelet/device-plugins/ total 12 drwxr-xr-x 2 root root 4096 Dec 4 01:30 ./ drwxr-xr-x 8 root root 4096 Dec 3 05:05 ../ -rw-r--r-- 1 root root 0 Dec 4 01:11 DEPRECATION -rw------- 1 root root 3804 Dec 4 01:30 kubelet_internal_checkpoint srwxr-xr-x 1 root root 0 Dec 4 01:11 kubelet.sock= srwxr-xr-x 1 root root 0 Dec 4 01:11 kubevirt-kvm.sock= srwxr-xr-x 1 root root 0 Dec 4 01:11 kubevirt-tun.sock= srwxr-xr-x 1 root root 0 Dec 4 01:11 kubevirt-vhost-net.sock= srwxr-xr-x 1 root root 0 Dec 4 01:30 nvidia-gpu.sock= ``` ## 5. 測試 GPU 首先測試本地命令列工具 ctr，這個應該沒啥問題： ```bash $ ctr images pull docker.io/nvidia/cuda:9.0-base $ ctr run --rm -t --gpus 0 docker.io/nvidia/cuda:9.0-base nvidia-smi nvidia-smi Fri Dec 4 07:01:38 2020 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 440.95.01 Driver Version: 440.95.01 CUDA Version: 10.2 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+======================+======================| | 0 GeForce RTX 208... Off | 00000000:A1:00.0 Off | N/A | | 30% 33C P8 9W / 250W | 0MiB / 11019MiB | 0% Default | +-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+ | Processes: GPU Memory | | GPU PID Type Process name Usage | |=============================================================================| | No running processes found | +-----------------------------------------------------------------------------+ ``` 最後進入終極測試：在 Pod 中測試 GPU 可用性。先建立部署清單： **gpu-pod.yaml** ```yaml apiVersion: v1 kind: Pod metadata: name: cuda-vector-add spec: restartPolicy: OnFailure containers: - name: cuda-vector-add image: "k8s.gcr.io/cuda-vector-add:v0.1" resources: limits: nvidia.com/gpu: 1 ``` 執行 `kubectl apply -f ./gpu-pod.yaml` 建立 Pod。使用 `kubectl get pod` 可以看到該 Pod 已經啟動成功： ```bash $ kubectl get pod NAME READY STATUS RESTARTS AGE cuda-vector-add 0/1 Completed 0 3s ``` 檢視 Pod 日誌： ```bash $ kubectl logs cuda-vector-add [Vector addition of 50000 elements] Copy input data from the host memory to the CUDA device CUDA kernel launch with 196 blocks of 256 threads Copy output data from the CUDA device to the host memory Test PASSED Done ``` 可以看到成功執行。這也說明 Kubernetes 完成了對 GPU 資源的呼叫。需要注意的是，目前 Kubernetes 只支援卡級別的排程，並且顯示卡資源是獨佔，無法在多個容器之間分享。 ## 參考資料 + [容器中使用 GPU 的基礎環境搭建](https://lxkaka.wang/docker-nvidia/) ---- Kubernetes 1.18.2 1.17.5 1.16.9 1.15.12離線安裝包釋出地址http://store.lameleg.com ，歡迎體驗。 使用了最新的sealos v3.3.6版本。 作了主機名解析配置優化，lvscare 掛載/lib/module解決開機啟動ipvs載入問題， 修復lvscare社群netlink與3.10核心不相容問題,sealos生成百年證書等特性。更多特性 https://github.com/fanux/sealos 。歡迎掃描下方的二維碼加入釘釘群 ，釘釘群已經整合sealos的機器人實時可以看到sealos的動態。 ![](https://img2020.cnblogs.com/other/1737323/202012/1737323-20201208133854014-1819156