kubernetes StorageClass(NFS)
一. StorageClass 簡介
在K8S環境，當pod需要儲存空間時，StorageClass比PV更靈活和方便,每個 StorageClass 都包含 provisioner、parameters 和 reclaimPolicy 欄位， 這些欄位會在 StorageClass 需要動態分配 PersistentVolume 時會使用到。
StorageClass的屬性
• Provisioner（儲存分配器）：用來決定使用哪個卷外掛分配 PV，該欄位必須指定。可以指 定內部分配器，也可以指定外部分配器。外部分配器的程式碼地址為： kubernetesincubator/external-storage，其中包括NFS和Ceph等。
• Reclaim Policy（回收策略）：通過reclaimPolicy欄位指定建立的Persistent Volume的回收 策略，回收策略包括：Delete 或者 Retain，沒有指定預設為Delete。
二. 部署nfs-client
這裡我們以NFS為例，要使用NFS，我們就需要一個nfs-client的自動裝載程式，我們稱之為Provisioner，這個程式會使用我們已經配置好的NFS伺服器自動建立持久卷，也就是自動幫我們建立PV。
詳細可以參考：https://github.com/kubernetes-retired/external-storage/blob/master/nfs-client/deploy/deployment.yaml
在部署之前，首先得確保有可用得NFS伺服器，這裡預設已經有可用得NFS伺服器了。
- 建立ServiceAccount，為nfs-client授權。nfs-client-sa.yaml
--- apiVersion: v1 kind: ServiceAccount metadata: name: nfs-client-provisioner --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: nfs-client-provisioner-clusterrole rules: - apiGroups: [""] resources: ["persistentvolumes"] verbs: ["get", "list", "watch", "create", "delete"] - apiGroups: [""] resources: ["persistentvolumeclaims"] verbs: ["get", "list", "watch", "update"] - apiGroups: ["storage.k8s.io"] resources: ["storageclasses"] verbs: ["get", "list", "watch"] - apiGroups: [""] resources: ["events"] verbs: ["list", "watch", "create", "update", "patch"] - apiGroups: [""] resources: ["endpoints"] verbs: ["create", "delete", "get", "list", "watch", "patch", "update"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: nfs-client-provisioner-clusterrolebinding subjects: - kind: ServiceAccount name: nfs-client-provisioner namespace: default roleRef: kind: ClusterRole name: nfs-client-provisioner-clusterrole apiGroup: rbac.authorization.k8s.io
通過上面得配置，設定nfs-client對PV，PVC，StorageClass等規則。接下來我們建立這個YAML檔案：
[root@baozexu storageclass]# kubectl apply -f nfs-client-sa.yaml
serviceaccount/nfs-client-provisioner created
clusterrole.rbac.authorization.k8s.io/nfs-client-provisioner-clusterrole created
clusterrolebinding.rbac.authorization.k8s.io/nfs-client-provisioner-clusterrolebinding created
-
建立nfs-client
使用Deployment來建立nfs-client，配置如下：nfs-client.yaml
apiVersion: apps/v1 kind: Deployment metadata: name: nfs-client-provisioner labels: app: nfs-client-provisioner # replace with namespace where provisioner is deployed namespace: default spec: replicas: 1 strategy: type: Recreate selector: matchLabels: app: nfs-client-provisioner template: metadata: labels: app: nfs-client-provisioner spec: serviceAccountName: nfs-client-provisioner containers: - name: nfs-client-provisioner image: easzlab/nfs-subdir-external-provisioner:v4.0.1 volumeMounts: - name: nfs-client-root mountPath: /persistentvolumes env: - name: PROVISIONER_NAME value: rookieops/nfs - name: NFS_SERVER value: 2.16.128.1 - name: NFS_PATH value: /public volumes: - name: nfs-client-root nfs: server: 2.16.128.1 path: /public然後建立這個yaml檔案
[root@baozexu storageclass]# kubectl apply -f nfs-client.yaml deployment.extensions/nfs-client-prosioner created檢視其狀態
[root@baozexu nfs]# kubectl get pods NAME READY STATUS RESTARTS AGE nfs-client-provisioner-6c59bb8b-k8hd8 1/1 Running 0 50m- 上面建立完成後就可以建立StorageClass了
nfs-client-storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-client-storageclass
provisioner: rookieops/nfs
注意provisioner必須和上面得Deployment的YAML檔案中PROVISIONER_NAME的值保持一致。
建立這個yaml檔案：
[root@baozexu nfs]# kubectl apply -f nfs-client-storageclass.yaml
storageclass.storage.k8s.io/nfs-client-storageclass created
[root@baozexu nfs]# kubectl get storageclasses.storage.k8s.io
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
nfs-client-storageclass rookieops/nfs Delete Immediate false 4h30m
注意：卷繫結模式
volumeBindingMode 欄位控制了卷繫結和動態製備 應該發生在什麼時候。
預設情況下，Immediate 模式表示一旦建立了 PersistentVolumeClaim 也就完成了卷繫結和動態製備。 對於由於拓撲限制而非叢集所有節點可達的儲存後端，PersistentVolume 會在不知道 Pod 排程要求的情況下繫結或者製備。
叢集管理員可以通過指定 WaitForFirstConsumer 模式來解決此問題。 該模式將延遲 PersistentVolume 的繫結和製備，直到使用該 PersistentVolumeClaim 的 Pod 被建立。 PersistentVolume 會根據 Pod 排程約束指定的拓撲來選擇或製備。這些包括但不限於 資源需求、 節點篩選器、 pod 親和性和互斥性、 以及汙點和容忍度。
- 建立pvc
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: pvc1
spec:
storageClassName: nfs-client-storageclass
accessModes:
- ReadWriteMany
resources:
requests:
storage: 1Gi
- 建立這個yaml檔案，觀察其狀態：
[root@nfs baozexu]# kubectl apply -f test-pvc.yaml
persistentvolumeclaim/test-nfs-pvc created
[root@baozexu nfs]# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc1 Bound pvc-33d2aa7f-e52f-4865-a05e-ebd53fbec914 1Gi RWX nfs-client-storageclass 120m
我們看到該PVC自動申請到空間，其STORAGECLASS就是我們建立的nfs-client-storageclass。
6. 建立一個pod,進行測試 pv-pod.yaml
apiVersion: v1
kind: Pod
metadata:
name: storageclass-pod
spec:
containers:
- name: busybox
image: busybox:latest
imagePullPolicy: IfNotPresent
command:
- "/bin/sh"
- "-c"
args:
- "sleep 3600"
volumeMounts:
- name: nfs-pvc
mountPath: /mnt
restartPolicy: Never
volumes:
- name: nfs-pvc
persistentVolumeClaim:
claimName: pvc1
- 檢視pv是否生成
[root@baozexu ~]# kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pvc-33d2aa7f-e52f-4865-a05e-ebd53fbec914 1Gi RWX Delete Bound default/pvc1 nfs-client-storageclass 77m
- 然後檢視nfs目錄中是否有檔案生成
[root@baozexu public]# ls
default-pvc1-pvc-33d2aa7f-e52f-4865-a05e-ebd53fbec914
我們可以看到生成了對應的目錄，格式和我們上面說的一致。