2. 程式人生 > >Kubernetes之存儲卷

Kubernetes之存儲卷

阿新 • • 發佈：2018-09-21
cpu 選擇器 sel reclaim 插件 rfs sphere 策略 概述

存儲卷概述

容器磁盤上的文件的生命周期是短暫的，這就使得在容器中運行重要應用時會出現一些問題。首先，當容器崩潰時，kubelet 會重啟它，但是容器中的文件將丟失——容器以幹凈的狀態（鏡像最初的狀態）重新啟動。其次，在 Pod 中同時運行多個容器時，這些容器之間通常需要共享文件。Kubernetes 中的 Volume 抽象就很好的解決了這些問題。在原docker環境中也有存儲卷的概念，但docker環境的存儲卷調度在宿主機上的目錄，當docker重新創建的時候存儲卷還會掛載統一宿主機上，但我們知道Kubernetes是分布式集群，當我們銷毀一個pod的時候，可能pod會在其他節點上啟動，但其他節點宿主機上並沒有這個目錄，這樣就不會掛載到原來的數據了。為此Kubernetes不同類型的持久卷。

我們可以通過kubectl explain pods.spec.volumes來查看支持的存儲卷：

  • hostPath 主機目錄
  • emptyDir 空目錄（pod銷毀也隨之銷毀）
  • rbd 分布式存儲之ceph塊存儲
  • local 卷表示掛載的本地存儲設備，如磁盤、分區或目錄
  • cephfs 分布式存儲之cephfs
  • awsElasticBlockStore aws雲存儲
  • azureDisk azure雲存儲
  • azureFile azure雲存儲
  • glusterfs 分布式存儲之glusterfs
  • downwardAPI 卷用於使向下 API 數據（downward API data）對應用程序可用。它掛載一個目錄，並將請求的數據寫入純文本文件。
  • cinder OpenStack 塊存儲
  • configMap 配置中心
  • fc 卷允許將現有的 fc 卷掛載到 pod 中。您可以使用卷配置中的 targetWWN 參數指定單個或多個目標全球通用名稱（World Wide Name）。如果指定了多個 WWN，則 targetWWN 期望這些 WWN 來自多路徑連接。
  • flexVolume 抽象的存儲服務，存儲服務的管理軟件
  • flocker 是一款開源的集群容器數據卷管理器。它提供了由各種存儲後端支持的數據卷的管理和編排。
  • gcePersistentDisk 谷歌雲上
  • gitRepo 卷是一個可以演示卷插件功能的示例。它會掛載一個空目錄並將 git 存儲庫克隆到您的容器中。
  • iscsi iscsi 卷允許將現有的 iSCSI卷掛載到容器中。不像 emptyDir，刪除 Pod 時 iscsi 卷的內容將被保留，卷僅僅是被卸載。這意味著 iscsi 卷可以預先填充數據，並且這些數據可以在 pod 之間“切換”。
  • nfs nfs Nas存儲
  • persistentVolumeClaim 卷用於將 PersistentVolume 掛載到容器中。PersistentVolumes 是在用戶不知道特定雲環境的細節的情況下“聲明”持久化存儲（例如 GCE PersistentDisk 或 iSCSI 卷）的一種方式。
  • photonPersistentDisk
  • portworxVolume 是一個與 Kubernetes 一起，以超融合模式運行的彈性塊存儲層
  • projected 卷將幾個現有的卷源映射到同一個目錄中
  • quobyte 卷允許將現有的 Quobyte 卷掛載到容器中。
  • scaleIO ScaleIO 是一個基於軟件的存儲平臺，可以使用現有的硬件來創建可擴展的共享塊網絡存儲集群
  • secret 加密文件
  • storageos 動態存儲
  • vsphereVolume 配置了 vSphere Cloud Provider 的 Kubernetes

emptyDir

kubectl explain pod.spec.volumes.emptyDir 指定emptyDir存儲卷

  • medium 指定媒介類型 disk Memory 兩種
  • sizeLimit 現在資源使用情況

kubectl explain pod.spec.containers.volumeMounts 指定掛載哪些存儲卷

  • mountPath 掛載那個路徑
  • name 指定掛載的volumes名稱
  • readOnly 是否只讀掛載
  • subPath 是否掛載子路徑

下面實例為 一個pod中的兩個容器共享同一個存儲

apiVersion: v1
kind: Pod
metadata:
  name: my-demo
  namespace: default
  labels:
    name: myapp
    tier: appfront
spec:
  containers:
  - name: myapp
    image: ikubernetes/myapp:v1
    ports:
    - name: http
      containerPort: 80
    volumeMounts:
    - name: appindex
      mountPath: /usr/share/nginx/html/
  - name: busybox
    image: busybox
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: appindex
      mountPath: /data/
    command:
    - "/bin/sh"
    - "-c"
    - "while true; do echo $(date) >> /data/index.html; sleep 2; done"
  volumes:
  - name: appindex
    emptyDir: {}

驗證

curl 10.244.3.14
Mon Sep 17 06:03:53 UTC 2018
Mon Sep 17 06:03:55 UTC 2018
Mon Sep 17 06:03:57 UTC 2018
Mon Sep 17 06:03:59 UTC 2018
Mon Sep 17 06:04:01 UTC 2018
Mon Sep 17 06:04:03 UTC 2018

hostPath

kubectl explain pod.spec.volumes.hostPath

  • path 指定宿主機的路徑
  • type DirectoryOrCreate 宿主機上不存在創建此目錄 Directory 必須存在掛載目錄 FileOrCreate 宿主機上不存在掛載文件就創建 File 必須存在文件

目錄自動創建

apiVersion: v1
kind: Pod
metadata:
  name: my-demo
  namespace: default
  labels:
    name: myapp
    tier: appfront
spec:
  containers:
  - name: myapp
    image: ikubernetes/myapp:v1
    ports:
    - name: http
      containerPort: 80
    volumeMounts:
    - name: appindex
      mountPath: /usr/share/nginx/html/
  volumes:
  - name: appindex
    hostPath:
      path: /data/pod/myapp
      type: DirectoryOrCreate

NFS

kubectl explain pod.spec.volumes.nfs

  • path 源目錄
  • readOnly 是否只讀 默認false
  • server NFS服務地址
apiVersion: v1
kind: Pod
metadata:
  name: my-demo-nfs
  namespace: default
  labels:
    name: myapp
    tier: appfront
spec:
  containers:
  - name: myapp
    image: ikubernetes/myapp:v1
    ports:
    - name: http
      containerPort: 80
    volumeMounts:
    - name: appindex
      mountPath: /usr/share/nginx/html/
  volumes:
  - name: appindex
    nfs:
      server: 172.16.132.241
      path: /data

手動在/data目錄下增加一個index.html

驗證

kubectl get pods -o wide 
NAME                          READY     STATUS    RESTARTS   AGE       IP            NODE
my-demo                       1/1       Running   0          3h        10.244.2.4    k8s-node02
my-demo-nfs                   1/1       Running   0          2m        10.244.3.15   k8s-node03

$ curl 10.244.3.15
nfs

PVC如何使用的

我們前面提到kubernetes提供那麽多儲存接口，但是首先kubernetes的各個Node節點能管理這些存儲，但是各種存儲參數也需要專業的存儲工程師才能了解，由此我們的kubernetes管理變的更加復雜的。由此kubernetes提出了PV和PVC的概念，這樣開發人員和使用者就不需要關註後端存儲是什麽，使用什麽參數等問題。如下圖：

技術分享圖片

當我們pod中定義volume的時候，我們只需要使用pvs存儲卷就可以，pvc必須與對應的pv建立關系，pvc會根據定義去pv申請，而pv是由存儲空間創建出來的。pv和pvc是kubernetes抽象出來的一種存儲資源。

技術分享圖片

PV介紹：

PersistentVolume 是由管理員設置的存儲，它是群集的一部分。就像節點是集群中的資源一樣，PV 也是集群中的資源。 PV 是 Volume 之類的卷插件，但具有獨立於使用 PV 的 Pod 的生命周期。此 API 對象包含存儲實現的細節，即 NFS、iSCSI 或特定於雲供應商的存儲系統。可根據上圖看清他們之間的關系

PV有兩種配置方式：動態和靜態

靜態：

集群管理員創建一些 PV。它們帶有可供群集用戶使用的實際存儲的細節。

動態：

當管理員創建的靜態 PV 都不匹配用戶的 PersistentVolumeClaim 時，集群可能會嘗試動態地為 PVC 創建卷。此配置基於 StorageClasses：PVC 必須請求存儲類，並且管理員必須創建並配置該類才能進行動態創建。聲明該類為 "" 可以有效地禁用其動態配置。

要啟用基於存儲級別的動態存儲配置，集群管理員需要啟用 API server 上的 DefaultStorageClass 準入控制器。例如，通過確保 DefaultStorageClass 位於 API server 組件的 --admission-control 標誌，使用逗號分隔的有序值列表中，可以完成此操作。

kubectl explain pv.spec

  • accessModes 訪問模式
  1. ReadWriteOnce（RWO） 單節點讀寫
  2. ReadOnlyMany（ROX） 多節點只讀
  3. ReadWriteMany（RWX） 多節點讀寫
  • capacity 定義pv使用多少資源

定義一個nfs格式的pv

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv01
  labels:
    name: pv01
spec:
  nfs:
    path: /data/pv/01
    server: 172.16.132.241
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 2Gi

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv02
  labels:
    name: pv02
spec:
  nfs:
    path: /data/pv/02
    server: 172.16.132.241
  accessModes: ["ReadOnlyMany","ReadWriteOnce"]
  capacity:
    storage: 5Gi

查看詳細

kubectl get pv 
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM     STORAGECLASS   REASON    AGE
pv01      2Gi        RWO,RWX        Retain           Available                                      1m
pv02      5Gi        RWO,ROX        Retain           Available                                      1m

回收策略（RECLAIM POLICY）

當pod結束 volume 後可以回收資源對象刪除PVC，而綁定關系就不存在了，當綁定關系不存在後這個PV需要怎麽處理，而PersistentVolume 的回收策略告訴集群在存儲卷聲明釋放後應如何處理該卷。目前，volume 的處理策略有保留、回收或刪除。

保留：

此策略允許手動回收資源，當pvc被刪除後，pv依然存在，volume 被視為“已釋放”。但是由於前一個聲明人的數據仍然存在，所以還不能馬上進行其他聲明。管理員可以通過以下步驟手動回收卷。

  • 刪除 PV。在刪除 PV 後，外部基礎架構中的關聯存儲空間（如 AWS EBS、GCE PD、Azure Disk 或 Cinder 卷）仍然存在。
  • 手動清理相關存儲空間上的數據
  • 手動刪除關聯的存儲空間，或者如果要重新使用相同的存儲空間，請使用存儲空間定義創建新的 PersistentVolume。

回收：

在 volume上執行情況數據（rm -rf /thevolume/*），可以再次被其他pvc調度

刪除：

對於支持刪除回收策略的卷插件，刪除操作將從 Kubernetes 中刪除 PV 對象，並刪除外部基礎架構（如 AWS EBS、GCE PD、Azure Disk 或 Cinder 卷）中的關聯存儲空間。動態配置的卷繼承其 StorageClass 的回收策略，默認為 Delete。管理員應該根據用戶的期望來配置 StorageClass，否則就必須要在 PV 創建後進行編輯或修補。

PVC介紹：

PersistentVolumeClaim 是用戶存儲的請求。它與 Pod 相似。Pod 消耗節點資源，PVC 消耗 PV 資源。Pod 可以請求特定級別的資源（CPU 和內存）。聲明可以請求特定的大小和訪問模式（例如，可以以讀/寫一次或 只讀多次模式掛載）。

雖然 PersistentVolumeClaims 允許用戶使用抽象存儲資源，但用戶需要具有不同性質（例如性能）的 PersistentVolume 來解決不同的問題。集群管理員需要能夠提供各種各樣的 PersistentVolume，這些PersistentVolume 的大小和訪問模式可以各有不同，但不需要向用戶公開實現這些卷的細節。對於這些需求，StorageClass 資源可以實現。可根據上圖看清他們之間的關系

kubectl explain pvc.spec

  • accessModes 訪問模式 是遞延pv的accessModes的子集，例如：pv中accessModes 定義["ReadWriteMany","ReadWriteOnce"]，pvc中的也只能定義["ReadWriteMany","ReadWriteOnce"] 或其中的一個。
  • resources 資源限制
  • selector 　標簽選擇器
  • storageClassName 動態存儲名稱
  • volumeMode 後端存儲卷的模式
  • volumeName 指定卷(pv)的名稱

定義pvc資源對象

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc
  namespace: default
spec:
  accessModes: ["ReadWriteMany"]
  resources:
    requests:
      storage: 5Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: my-demo-pvc
  namespace: default
  labels:
    name: myapp
    tier: appfront
spec:
  containers:
  - name: myapp
    image: ikubernetes/myapp:v1
    ports:
    - name: http
      containerPort: 80
    volumeMounts:
    - name: appindex
      mountPath: /usr/share/nginx/html/
  volumes:
  - name: appindex
    persistentVolumeClaim:
      claimName: mypvc

查看

$ kubectl get pv 
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS    CLAIM           STORAGECLASS   REASON    AGE
pv02      5Gi        RWO,ROX        Retain           Bound     default/mypvc                            1h

$ kubectl describe pod my-demo-pvc 
Name:               my-demo-pvc
Namespace:          default
Priority:           0
PriorityClassName:  <none>
Node:               k8s-node02/172.16.138.42
Start Time:         Thu, 20 Sep 2018 05:23:04 -0400
Labels:             name=myapp
                    tier=appfront
Annotations:        kubectl.kubernetes.io/last-applied-configuration={"apiVersion":"v1","kind":"Pod","metadata":{"annotations":{},"labels":{"name":"myapp","tier":"appfront"},"name":"my-demo-pvc","namespace":"default"},"s...
Status:             Running
IP:                 10.244.2.6
Containers:
  myapp:
    Container ID:   docker://6727e1b45fba703f98d7a11f16a60706b8f5c2925026707b412c13ef80f5ac52
    Image:          ikubernetes/myapp:v1
    Image ID:       docker-pullable://ikubernetes/myapp@sha256:9c3dc30b5219788b2b8a4b065f548b922a34479577befb54b03330999d30d513
    Port:           80/TCP
    Host Port:      0/TCP
    State:          Running
      Started:      Thu, 20 Sep 2018 05:23:06 -0400
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /usr/share/nginx/html/ from appindex (rw)
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-lplp6 (ro)
......

Kubernetes之存儲卷

相關推薦

Kubernetes之存儲卷

cpu 選擇器 sel reclaim 插件 rfs sphere 策略 概述 存儲卷概述 容器磁盤上的文件的生命周期是短暫的，這就使得在容器中運行重要應用時會出現一些問題。首先，當容器崩潰時，kubelet 會重啟它，但是容器中的文件將丟失——容器以幹凈的狀態（鏡像最初的

Kubernetes之（十二）存儲卷

規格 計算 ech 叢書 容器 nes 集群 obj explain 目錄 Kubernetes之（十二）存儲卷 簡介 emptyDir存儲卷 hostPath存儲卷

kubernetes 的數據的存儲 存儲卷

volume 分布式 true 分布式存 命令 存儲設備 ota nas 級別 根據應用本身是否 需要持久存儲數據，以及某一此請求和此前的請求是否有關聯性，可以分為四類應用： 　　1.有狀態要存儲 2.有狀態無持久存儲 3.無狀態無持久存儲4.無狀態有持久存儲 在k8s上的

Kubernetes 存儲卷管理 PV&PVC(十)

創建配置文件 執行 container cinder don rm -rf directory -c 可用 為了持久化保存容器的數據，可以使用 Kubernetes Volume。 Volume 的生命周期獨立於容器，Pod 中的容器可能被銷毀和重建，但 Volume 會被

linux系統管理之存儲管理

加利福尼亞 software university linux 控制器 存儲管理：這裏我們要學介紹兩種磁盤陣列：磁盤陣列是由很多價格較便宜的磁盤，組合成一個容量巨大的磁盤組，利用個別磁盤提供數據所產生加成效果提升整個磁盤系統效能。利用這項技術，將數據切割成許多區段，分別存放在各個硬盤上。一

虛擬化VMware之存儲與虛擬機主機管理(1)

duyuheng 虛擬化vmware之存儲與虛擬機主機管理Openfiler主要用於為LAN主機提供獨立存儲系統。Openfiler提供了包括NFS、SMB、iSCSI、Target等多種連接方式，一般通過HTTP的的方式進行管理。如果訪問Openfiler上的數據，可以通過iSCSI initiator

SQL Server 為代碼減負之存儲過程

每次 data- online int money -a stat lib -s 存儲過程能夠用來提高數據庫的查詢效率。由於它事先被編譯過。被儲存於內存中，每次執行前。不必被從新編譯，所以效率非常高。存儲過程是一組sql增刪改查的集合，假設程序中的一個功能涉

SQL 之存儲過程

ren rod table str where 調用存儲過程 exist cnblogs conf 存儲過程 是用來執行管理任務或應用復雜的業務規則， 存儲過程中可以包含邏輯控制語句和數據操縱語句，它可以接受參數、輸出參數、返回單個或多個結果集以及返回值。

My sql之存儲過程+遊標

reat 實例 close 記錄 開始 false 修改用戶 loop 存儲 sql 實例如下： /**************定義更改car_station_user_acct_his new_balance old_balance存儲過程**************/

js之存儲

cli http img 同時 沒有 cookie ima 三種 style 記得在牛客網裏看到過一道題，談一談對cookies、localStorage、sessionStorage的區別？ 在這裏我們就來談一談這三種存儲方式的區別與優缺點

運維之存儲服務--Glusterfs

glusterfsGlusterfshttp://www.gluster.org/本文出自 “運維自動化” 博客，請務必保留此出處http://shower.blog.51cto.com/4926872/1964902運維之存儲服務--Glusterfs

oracle對象之存儲函數

gin line clas 指定 函數名 實現 pre num ron 存儲函數 create or replace function 函數名(Name in type, Name out type, ...) return 數據類型 is 結果變量 數據類型; beg

SQL Server基礎之存儲過程

調用 mic 情況 sele 環境 record total true 孔子 SQL Server基礎之存儲過程 閱讀目錄 一:存儲過程概述 二：存儲過程分類 三：創建存儲過程 1.創建無參存儲過程 2.修改存儲過程 3.刪除存儲過程 4.重命名存儲過程 5.創

mysql數據庫之存儲引擎

它的 行數 文件 總結 size 分別是 引擎 但是 mysql數據庫 mysql數據庫之存儲引擎 存儲引擎是mysql數據庫特有的功能，其他數據庫並不具備這樣的功能。所謂存儲引擎，就是數據庫在底層的存儲數據的方式。在這裏，就之前接觸過的存儲引擎做一個簡單總結。 mysql

SQL server學習（五）——T-SQL編程之存儲過程

mds ren creat 存儲 創建數據庫 希望 with 接收 bank 周五了，祝大家周末愉快。 之前一直在寫SQL server的分享，今天再來個T-SQL編程中的存儲過程。 存儲過程 存儲過程（procedure）類似於C語言中的函數，用來執行管理任務或應用復雜的

oracle數據庫之存儲函數和過程

啟動 命令 describe 指定 ret soft 字典 調用 log 一、引言 ORACLE 提供可以把 PL/SQL 程序存儲在數據庫中，並可以在任何地方來運行它。這樣就叫存儲過程或函數。過程和函數統稱為 PL/SQL 子程序，他們是被命名的 PL/SQL

k8s附加組件之存儲-glusterfs

現在 個數 oot session rwx efault 答案 .org 我們 k8s附加組件之存儲-glusterfs 2018/1/16 部署 glusterfs 集群 初始化 glusterfs 集群 創建 glusterfs 卷，用於保存數據 不做特別說明的，都

服務器數據恢復方法之存儲raid硬盤離線數據恢復案例

其中 內部存儲 分享 都是 安全 ado log 查看 所有 【故障描述】某法院的一臺HP-P4500的存儲系統，底層是12塊1TB的硬盤組的RAID。其中每6個1TB的盤一組，第一組的前面一部分組了一個RAID0+1，是存放HP-P4500嵌入式系統，接著組了一個RAID

數據庫高級應用之存儲過程

nbsp procedure 單個 sele eat creat gin mysq 服務端 存儲過程作用：存儲在數據庫服務端供客戶端使用的調用執行的SQL語句就是存儲過程格式：sql 語句： create procedure p_student @dep

mysql之存儲過程基礎

基本 mysq () BE pro tro cal 處理 語句 存儲過程 procedure 可以理解為一個處理增刪改，沒有返回值得函數 創建存儲過程的基本語法 create procedure 過程名 （【參數列表】） begin --過程體 end 存儲過程主體只有一條