> 本文首發於 Nebula Graph 官網：[https://nebula-graph.com.cn/posts/how-to-deploy-nebula-graph-in-kubernetes/](https://nebula-graph.com.cn/posts/how-to-deploy-nebula-graph-in-kubernetes/) ## Kubernetes 是什麼 Kubernetes 是一個開源的，用於管理雲平臺中多個主機上的容器化的應用，Kubernetes 的目標是讓部署容器化的應用簡單並且高效，Kubernetes 提供了應用部署，規劃，更新，維護的一種機制。 Kubernetes 在設計結構上定義了一系列的構建模組，其目的是為了提供一個可以**部署、維護和擴充套件應用程式的機制**，組成 Kubernetes 的元件設計理念為**鬆耦合**和**可擴充套件**的，這樣可以使之滿足多種不同的工作負載。可擴充套件性在很大程度上由 Kubernetes API 提供，此 API 主要被作為擴充套件的內部元件以及 Kubernetes 上執行的容器來使用。  Kubernetes 主要由以下幾個核心元件組成： - `etcd`  儲存了整個叢集的狀態 - `kube-apiserver` 提供了資源操作的唯一入口，並提供認證、授權、訪問控制、API 註冊和發現等機制 - `kube-controller-manager` 負責維護叢集的狀態，比如故障檢測、自動擴充套件、滾動更新等 - `kube-scheduler` 負責資源的排程，按照預定的排程策略將Pod排程到相應的機器上 - `kubelet` 負責維護容器的生命週期，同時也負責 Volume和網路的管理 - `kube-proxy` 負責為 Service 提供 cluster 內部的服務發現和負載均衡 ## Kubernetes 和資料庫 資料庫容器化是最近的一大熱點，那麼 Kubernetes 能為資料庫帶來什麼好處呢？ - **故障恢復**：Kubernetes 提供故障恢復的功能，資料庫應用如果宕掉，Kubernetes 可以將其**自動重啟**，或者將資料庫例項遷移到叢集中其他節點上 - **儲存管理**：Kubernetes 提供了豐富的儲存接入方案，資料庫應用能**透明地使用不同型別的儲存系統** - **負載均衡**：Kubernetes Service 提供負載均衡功能，能將外部訪問均衡到不同的資料庫例項副本上 - **水平拓展**：Kubernetes 可以根據當前資料庫叢集的資源利用率情況，縮放副本數目，從而提升資源的利用率 目前很多資料庫，如：MySQL，MongoDB 和 TiDB 在 Kubernetes 叢集中都能執行良好。 ## Nebula Graph 在 Kubernetes 中的實踐 Nebula Graph 是一個分散式的開源圖資料庫，主要元件有：Query Engine 的 graphd，資料儲存的 storaged，和元資料的 meted。在 Kubernetes 實踐過程中，它主要給圖資料庫 Nebula Graph 帶來了以下的好處： - Kubernetes 能均衡 nebula graphd，metad 和 storaged 不同副本之間的負載。graphd，metad 和 storaged 可以通過 Kubernetes 的域名服務自動發現彼此。 - 通過 StorageClass，PVC 和 PV 可以遮蔽底層儲存細節，無論使用本地卷還是雲盤，Kubernetes 均可以透明對接。 - 通過 Kubernetes 可以在數秒內成功部署一套 Nebula 叢集，Kubernetes 也可以無感知地實現 Nebula 叢集的升級。 - Nebula 叢集通過 Kubernetes 可以做到自我恢復，單體副本 crash，Kubernetes 可以重新將其拉起，無需運維人員介入。 - Kubernetes 可以根據當前 Nebula 叢集的資源利用率情況彈性伸縮叢集規模，從而提升叢集的效能。 下面來講解下具體的實踐內容。 ### 叢集部署 #### 硬體和軟體要求 這裡主要羅列下本文部署涉及到的機器、作業系統引數 - 作業系統使用的 CentOS-7.6.1810 x86_64 - 虛擬機器配置 - 4 CPU - 8G 記憶體 - 50G 系統盤 - 50G 資料盤 A - 50G 資料盤 B - Kubernetes 叢集版本 v1.14+ - Nebula 版本為 v2.0.0-rc1 - 使用本地 PV 作為資料儲存 - CoreDNS 版本 1.6.0+ #### K8s 叢集規劃 以下為叢集清單 | 伺服器 IP | nebula 例項 | role | | --- | --- | --- | | 192.168.0.1 | | master | | 192.168.0.2 | graphd, metad-0, storaged-0 | node | | 192.168.0.3 | graphd, metad-1, storaged-1 | node | | 192.168.0.4 | graphd, metad-2, storaged-2 | node | #### K8s 待部署元件 - 安裝 Helm3 - 準備本地磁碟，並安裝本地卷外掛 - 安裝 nebula 叢集 ### 安裝 Helm3 Helm 是 Kubernetes 叢集上的包管理工，使用 Helm 可以極大地降低使用 Kubernetes 部署應用的門檻。本文不做 Helm 詳細介紹，有興趣的小夥伴可自行閱讀[《Helm 入門指南》](https://helm.sh/zh/docs/intro/quickstart/)。 #### 下載安裝 Helm 使用下面命令在終端執行即可安裝 Helm ```bash $ wget https://get.helm.sh/helm-v3.5.2-linux-amd64.tar.gz $ tar -zxvf helm/helm-v3.5.2-linux-amd64.tgz $ mv linux-amd64/helm /usr/bin/helm ``` #### 檢視 Helm 版本 執行 `helm version` 命令即可檢視對應的 Helm 版本，以文字為例，以下為輸出結果： ```bash version.BuildInfo{Version:"v3.5.2", GitCommit:"167aac70832d3a384f65f9745335e9fb40169dc2", GitTreeState:"dirty", GoVersion:"go1.15.7"} ``` ### 設定本地磁碟 在每臺機器上做如下配置 #### 建立 mount 目錄 ```bash $ sudo mkdir -p /mnt/disks ``` #### 格式化資料盤 ```bash $ sudo mkfs.ext4 /dev/diskA $ sudo mkfs.ext4 /dev/diskB ``` #### 掛載資料盤 ```bash $ DISKA_UUID=$(blkid -s UUID -o value /dev/diskA) $ DISKB_UUID=$(blkid -s UUID -o value /dev/diskB) $ sudo mkdir /mnt/disks/$DISKA_UUID $ sudo mkdir /mnt/disks/$DISKB_UUID $ sudo mount -t ext4 /dev/diskA /mnt/disks/$DISKA_UUID $ sudo mount -t ext4 /dev/diskB /mnt/disks/$DISKB_UUID $ echo UUID=`sudo blkid -s UUID -o value /dev/diskA` /mnt/disks/$DISKA_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab $ echo UUID=`sudo blkid -s UUID -o value /dev/diskB` /mnt/disks/$DISKB_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab ``` ### 部署本地卷外掛 ```bash $ curl https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner/archive/v2.4.0.zip $ unzip v2.4.0.zip ``` 修改 `v2.4.0/helm/provisioner/values.yaml` classes 部分： - 將 `hostDir: /mnt/fast-disks` 改成 `hostDir: /mnt/disks`，`# storageClass: true` 改成 `storageClass: true`。然後執行： ```bash $ helm install local-static-provisioner --namespace default sig-storage-local-static-provisioner/helm/provisioner # 檢視 local-static-provisioner 部署情況 $ helm list NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION local-volume-provisioner default 1 2021-02-10 11:06:34.3540341 +0800 CST deployed provisioner-2.4.0 2.4.0 ``` ### 部署 nebula 叢集 #### 下載 nebula helm chart ```bash # 下載 nebula chart $ helm repo add nebula-charts https://vesoft-inc.github.io/nebula-docker-compose $ helm pull nebula-charts/nebula $ tar -zxvf nebula-v2.0.0.tgz ``` #### 設定 Kubernetes node節點 下面是 Kubernetes 節點列表，我們需要設定 node 節點的排程標籤。可以將 _192.168.0.2_，_192.168.0.3_，_192.168.0.4_ 打上 `nebula: "cloud"` 的標籤。 | 伺服器 IP | kubernetes roles | nodeName | | --- | --- | --- | | 192.168.0.1 | master | 192.168.0.1 | | 192.168.0.2 | node | 192.168.0.2 | | 192.168.0.3 | node | 192.168.0.3 | | 192.168.0.4 | node | 192.168.0.4 | 具體操作如下： ```bash $ kubectl label node 192.168.0.2 nebula="cloud" --overwrite $ kubectl label node 192.168.0.3 nebula="cloud" --overwrite $ kubectl label node 192.168.0.4 nebula="cloud" --overwrite ``` #### 調整 values 預設值 nebula helm chart 目錄如下: ```bash nebula ├── Chart.yaml ├── README.md ├── templates │   ├── configmap.yaml │   ├── deployment.yaml │   ├── _helpers.tpl │   ├── NOTES.txt │   ├── pdb.yaml │   ├── serviceaccount.yaml │   ├── service.yaml │   └── statefulset.yaml └── values.yaml 1 directory, 11 files ``` 可以根據執行環境需求修改 `charts/nebula/values.yaml`  裡面的預設值 #### 通過 helm 安裝 nebula ```bash $ helm install nebula charts/nebula # 檢視部署狀態 $ helm status nebula NAME: nebula LAST DEPLOYED: Fri Feb 19 12:58:16 2021 NAMESPACE: default STATUS: deployed REVISION: 1 TEST SUITE: None NOTES: Nebula Graph Cluster installed! 1. Watch all containers come up. $ kubectl get pods --namespace=default -l app.kubernetes.io=nebula -w # 檢視 K8s 叢集上 nebula 部署情況 $ kubectl get pods --namespace=default -l app.kubernetes.io=nebula NAME READY STATUS RESTARTS AGE nebula-graphd-676cfcf797-4q7mk 1/1 Running 0 6m nebula-graphd-676cfcf797-whwqp 1/1 Running 0 6m nebula-graphd-676cfcf797-zn5l6 1/1 Running 0 6m nebula-metad-0 1/1 Running 0 6m nebula-metad-1 1/1 Running 0 6m nebula-metad-2 1/1 Running 0 6m nebula-storaged-0 1/1 Running 0 6m nebula-storaged-1 1/1 Running 0 6m nebula-storaged-2 1/1 Running 0 6m ``` #### 訪問 nebula 叢集: ```bash $ kubectl get service nebula-graphd NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE nebula-graphd NodePort 10.105.4