1. 程式人生 > >Kubernetes共享使用Ceph儲存_Kubernetes中文社群

Kubernetes共享使用Ceph儲存_Kubernetes中文社群

目錄

  • 簡要概述
  • 環境測試
  • 結果驗證

簡要概述

Kubernetes pod 結合Ceph rbd塊裝置的使用,讓Docker 資料儲存在Ceph,重啟Docker或k8s RC重新排程pod 不會引起資料來回遷移。

工作原理無非就是拿到ceph叢集的key作為認證,遠端rbdmap對映掛載使用。那麼就要啟用一個基於key的secret資源,之後k8s pod指定要用的rbd就可以了。

環境測試

我的OS是ubuntu 14.04,一個master,兩個minon 節點,一個映象倉庫服務,這樣保證了k8s叢集跑起來,這個過程就略過了。

1.核心升級

這裡的ceph 版本裝的是10.2.2,客戶端核心過低會引起掛載失敗,主要就是minion節點。

# curl -sSL https://get.docker.com | sh  && service docker  restart

# apt-get install linux-image-4.4.0-22-generic  &&  reboot

2.安裝ceph-common,讓minion呼叫rbd

[email protected]:~# apt-get  install  python-rbd  ceph-common

3.儲存ceph-keyring和配置檔案

[email protected]:~# ll /etc/ceph
total 20

drwxr-xr-x  2 root root 4096 Jun 22  2016 ./ drwxr-xr-x 93 root root 4096 Nov 11 11:18 ../ -rw-------  1 root root   63 Apr 25  2016 ceph.client.admin.keyring -rw-r--r--  1 root root  249 Jun 22  2016 ceph.conf -rw-r--r--  1 root root   92 Jun 14  2016 rbdmap

4.獲取ceph keyring 的base64編碼字串

[email protected]
:~# ceph auth get-key   client.admin [email protected]:~# [email protected]:~# grep key /etc/ceph/ceph.client.admin.keyring |awk '{printf "%s", $NF}' AQAmnRlX2zrqDRAAOiuOs2sIItGhAP6tNDa3Vg== [email protected]:~# grep key /etc/ceph/ceph.client.admin.keyring |awk '{printf "%s", $NF}'|base64 QVFBbW5SbFgyenJxRFJBQU9pdU9zMnNJSXRHaEFQNnRORGEzVmc9PQ==

5.建立基於keyring 的secret資源

[email protected]:~# cat ceph-secret.yaml 
apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
data:

  key: QVFBbW5SbFgyenJxRFJBQU9pdU9zMnNJSXRHaEFQNnRORGEzVmc9PQo=
[email protected]:~# kubectl  create -f ceph-secret.yaml
[email protected]:~# kubectl  get secret
NAME               TYPE                                 DATA      AGE
ceph-secret           Opaque                              1         187d
default-token-rk17v    kubernetes.io/service-account-token       3         208d

6.編輯一個可用的ReplicationController 讓rbdpod跑起來

# kubectl create -f  rbd-rc.yaml

20161229101644

驗證結果

這樣的我們在pod就跑起來了,可以看到mount掛載資訊,也可以進入容器檢視

[email protected]:~# docker ps | grep rbd
4b8fc04501b1        nginx          "nginx -g 'daemon off"   6 months ago        Up 6 months                             k8s_rbdpod.b1ab9160_rbpod-k3yxn_default_88540575-3847-11e6-a098-0a6a7c3a684c_f8caa4bc3c9c1240b72e        gcr.io/google_containers/pause:2.0                           "/pause"                 6 months ago        Up 6 months                             k8s_POD.25c801ab_rbdpod-k3yxn_default_88540575-3847-11e6-a098-0a6a7c3a684c_c38f4ce7

[email protected]:~# mount | grep rbd
/dev/rbd0 on /var/lib/kubelet/plugins/kubernetes.io/rbd/rbd/data-image-wxq type ext4 (rw)

/var/lib/kubelet/plugins/kubernetes.io/rbd/rbd/data-image-wxq on /var/lib/kubelet/pods/88540575-3847-11e6-a098-0a6a7c3a684c/volumes/kubernetes.io~rbd/rbdpd type none (rw)

這樣k8s完美的結合了Ceph 塊裝置,它們又能愉悅的在一起玩耍了,至於有沒有真感情且看未來。