前 言

k3s作為輕量級的Kubernetes發行版，執行容器是基本功能。VM的管理原本是IaaS平臺的基本能力，隨著Kubernetes的不斷髮展，VM也可以納入其管理體系。結合Container和VM的各自優勢，又發展出輕量級VM的理念，兼具容器的輕量特性，又有VM的隔離安全性，這其中kata-container是時下比較受關注的開源專案。那麼輕量級的k3s和輕量級VM碰撞，又有怎樣的效果，結合兩者進行實踐，謹以此文進行說明。

請注意，本文部署時使用的主要軟體版本是：

k8s v1.17.2+k3s.1，kata-containers v1.9.3。

環境準備

kata-containers既可以在純Docker上執行，也可以執行在Kubernetes中，但本文只關注Kubernetes場景。kubelet本身可以支援多種滿足CRI介面的runtime，包括CRI-O和CRI-Containerd，Kubernetes的RuntimeClaas可以配置Pod使用那種執行時，建立容器時對應的runtime呼叫runc建立容器，建立VM時呼叫kata-runtime建立VM。kata-runtime支援多種形式的輕量VM，kata-qemu是預設支援選項，另外也可以使用firecracker（另一種MicroVM）。整體呼叫關係如下圖所示：

無論哪種VM，KVM的支援是需要的，現在主流的MicroVM技術都是基於KVM，所以我們的環境需要準備支援KVM的Host。你可以用Bare Metal，也可以用支援KVM的PC server，還可以用巢狀虛擬化方式。Host開啟KVM支援後，可以用以下命令檢查：

# 檢測虛擬化情況（需要>0）
grep -cw vmx /proc/cpuinfo

安裝k3s和kata-containers

k3s的安裝部署非常簡單，直接參考官方文件即可：

https://rancher.com/docs/k3s/latest/en/installation/

筆者使用GCP的Host，並開啟巢狀虛擬化，所以採用線上指令碼安裝方式：

curl -sfL https://get.k3s.io | sh -
 
# 備份 containerd原始配置，後面會用到
cd /var/lib/rancher/k3s/agent/etc/containerd/
cp config.toml config.toml.base

kata-containers部署有些需要注意的地方，kata-deploy（https://github.com/kata-containers/packaging/tree/master/kata-deploy）是官方維護的部署指令碼，可以幫助部署kata-containers。但是，kata-deploy的k3s支援有些問題，儘管已經有PR提交宣告支援了k3s，筆者整理了這一部署過程遇到的問題，僅作參考。

首先設定RBAC，先安裝文件中預設的RBAC yaml，再做一些修改：

kubectl apply -f https://raw.githubusercontent.com/kata-containers/packaging/master/kata-deploy/kata-rbac/base/kata-rbac.yaml
 
# 編輯 clusterrole node-labeler，新增新的api授權
# 新增coordination.k8s.io的leases授權 
kubectl edit clusterrole node-labeler
...
...
rules:
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - get
  - patch
- apiGroups:
  - coordination.k8s.io
  resources:
  - leases
  verbs:
  - get
  - list

部署kata，依然是先安裝文件中預設的yaml：

kubectl apply -k github.com/kata-containers/packaging/kata-deploy/kata-deploy/overlays/k3s

檢視kata-deploy Pod的執行情況，基本上你肯定會看到出錯資訊：

crictl ps -a | grep kube-kata
crictl logs <kube-kata-container-id>
...
...
Failed to restart containerd.service: Unit containerd.service not found.

這時候發現containerd雖然配置完成，但是重啟失敗。k3s目前的containerd是內建在k3s管理的，並不是通過systemd，而kata-deploy無法識別，這需要我們手動來完成這個過程：

# 建立/var/lib/rancher/k3s/agent/etc/containerd/config.toml.tmpl
 
# 使用之前保留的原始配置
cat config.toml.base > config.toml.tmpl
 
# 在config.toml.tmpl末尾追加
# 你可以篩選加入你使用的runtimes，也可以全部新增
[plugins.cri.containerd.runtimes.kata]
  runtime_type = "io.containerd.kata.v2"
[plugins.cri.containerd.runtimes.kata.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration.toml"
 
[plugins.cri.containerd.runtimes.kata-fc]
  runtime_type = "io.containerd.kata-fc.v2"
[plugins.cri.containerd.runtimes.kata-fc.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration-fc.toml"
 
[plugins.cri.containerd.runtimes.kata-qemu]
  runtime_type = "io.containerd.kata-qemu.v2"
[plugins.cri.containerd.runtimes.kata-qemu.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration-qemu.toml"
 
[plugins.cri.containerd.runtimes.kata-qemu-virtiofs]
  runtime_type = "io.containerd.kata-qemu-virtiofs.v2"
[plugins.cri.containerd.runtimes.kata-qemu-virtiofs.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration-qemu-virtiofs.toml"
 
[plugins.cri.containerd.runtimes.kata-nemu]
  runtime_type = "io.containerd.kata-nemu.v2"
[plugins.cri.containerd.runtimes.kata-nemu.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration-nemu.toml"

由於kata-deploy每次啟動都會重寫k3s containerd配置，為了避免干擾，在一切就緒後，我們可以刪除kata-deploy，並重啟k3s：

# 由於kata-deploy stop時會清理安裝的kata相關程式，所以刪除kata-deploy前，我們先去掉這個機制
# 編輯kata-deploy，刪除lifecycle preStop
 
lifecycle:
  preStop:
    exec:
      command:
      - bash
      - -c
      - /opt/kata-artifacts/scripts/kata-deploy.sh cleanup
 
 
kubectl delete -k github.com/kata-containers/packaging/kata-deploy/kata-deploy/overlays/k3s
 
systemctl restart k3s.service

執行demo

新增RuntimeClass，目前經過筆者測試，k3s只支援kata-qemu，所以我們只安裝kata-qemu-runtimeClass：

kubectl apply -f https://raw.githubusercontent.com/kata-containers/packaging/master/kata-deploy/k8s-1.14/kata-qemu-runtimeClass.yaml

新增workload

kubectl apply -f https://raw.githubusercontent.com/kata-containers/packaging/master/kata-deploy/examples/test-deploy-kata-qemu.yaml
 
kubectl get deploy php-apache-kata-qemu
NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
php-apache-kata-qemu   1/1     1            1           1m

確認kata-qemu正常建立VM：

ps aux| grep qemu
root      3589  0.9  0.9 2490176 151368 ?      Sl   06:49   0:15 /opt/kata/bin/qemu-system-x86_64
 
# 進入VM
crictl ps | grep php-apache
crictl exec -it <php-apache-container-id> bash
# uname -r
4.19.75
# exit
 
# 檢視Host kernel
uname -r
5.0.0-1029-gcp

我們可以看到通過k3s建立的每個kata容器都具有獨立的核心，沒有共享主機核心。

後 記

隨著k3s的進一步發展，越來越多的軟體不僅僅支援完整的Kubernetes，也會支援在k3s中安裝部署。k3s除了會在devops領域和邊緣計算領域外不斷髮展外，作為軟體執行載體也在不斷被各個開源產品接受，k3s輔助其他軟體給使用者提供輕量級的交付體驗，開箱即用的使用感受