2. 程式人生 > >如何利用kubernetes實現應用的水平擴充套件(HPA)

如何利用kubernetes實現應用的水平擴充套件(HPA)

阿新 • • 發佈：2018-12-27

雲端計算具有水平彈性的特性，這個是雲端計算區別於傳統IT技術架構的主要特性。對於Kubernetes中的POD叢集來說，HPA就是實現這種水平伸縮的控制器, 它能在當POD中業務負載上升的時候，建立新的POD來保證業務系統穩定執行，當POD中業務負載下降的時候，可以銷燬POD來提高資源利用率。

HPA介紹

Horizontal Pod Autoscaling，簡稱HPA，是Kubernetes中實現POD水平自動伸縮的功能。為什麼要水平而不叫垂直, 那是因為自動擴充套件主要分為兩種:

  • 水平擴充套件(scale out)，針對於例項數目的增減
  • 垂直擴充套件(scal up)，即單個例項可以使用的資源的增減, 比如增加cpu和增大記憶體
    而HPA屬於前者。它可以根據CPU使用率或應用自定義metrics
    自動擴充套件Pod數量(支援 replication controller、deployment 和 replica set)

架構介紹


獲取metrics的兩種方式:

  • Heapster: heapster提供metrics服務, 但是在v1(autoscaling/v1)版本中僅支援以CPU作為擴充套件度量指標, 而其他比如:記憶體, 網路流量, qps等目前處於beta階段(autoscaling/v2beta1)
  • Cousom: 同樣處於beta階段(autoscaling/v2beta1), 但是涉及到自定義的REST API的開發, 複雜度會大一些, 並且當需要從自定義的監控中獲取資料時，只能設定絕對值，無法設定使用率

工作流程:

  • 1.建立HPA資源，設定目標CPU使用率限額，以及最大、最小例項數, 一定要設定Pod的資源限制引數: request, 負責HPA不會工作。
  • 2.控制管理器每隔30s(可以通過–horizontal-pod-autoscaler-sync-period修改)查詢metrics的資源使用情況
  • 3.然後與建立時設定的值和指標做對比(平均值之和/限額)，求出目標調整的例項個數
  • 4.目標調整的例項數不能超過1中設定的最大、最小例項數，如果沒有超過，則擴容；超過，則擴容至最大的例項個數
  • 重複2-4步

自動伸縮演算法:
HPA Controller會通過調整副本數量使得CPU使用率儘量向期望值靠近，而且不是完全相等．另外，官方考慮到自動擴充套件的決策可能需要一段時間才會生效：例如當pod所需要的CPU負荷過大，從而在建立一個新pod的過程中，系統的CPU使用量可能會同樣在有一個攀升的過程。所以，在每一次作出決策後的一段時間內，將不再進行擴充套件決策。對於擴容而言，這個時間段為3分鐘，縮容為5分鐘(可以通過--horizontal-pod-autoscaler-downscale-delay

, --horizontal-pod-autoscaler-upscale-delay進行調整)。

  • HPA Controller中有一個tolerance（容忍力）的概念，它允許一定範圍內的使用量的不穩定，現在預設為0.1，這也是出於維護系統穩定性的考慮。例如，設定HPA排程策略為cpu使用率高於50%觸發擴容，那麼只有當使用率大於55%或者小於45%才會觸發伸縮活動，HPA會盡力把Pod的使用率控制在這個範圍之間。
  • 具體的每次擴容或者縮容的多少Pod的演算法為: Ceil(前採集到的使用率 / 使用者自定義的使用率) * Pod數量)
  • 每次最大擴容pod數量不會超過當前副本數量的2倍

依賴部署

這是kuberntes整個系列的第四篇, 該篇依賴Heapster服務成功安裝, 如果未安裝請參考:

因為基於HeapsterHPA僅支援CPU為維度的自動伸縮, 因此寫了個計算100位π的HTTP服務, 該程式已打包放於百度網盤下, 下載hpa-test-app.tar 匯入然後推到自己私有倉庫, 等待後續測試(放心該映象僅有5M多點)
原始碼如下:

package main

import (
    "fmt"
    "log"
    "net/http"
    "strconv"
    "strings"
)

func main() {
    http.HandleFunc("/", compPiHandler)
    log.Println("Server work at :8080 ...")
    err := http.ListenAndServe(":8080", nil)
    if err != nil {
        log.Fatal("ListenAndServe: ", err)
    }
}

func compPiHandler(w http.ResponseWriter, r *http.Request) {
    var (
        lenI int
        err  error
    )

    lenS := r.URL.Query().Get("length")
    if lenS != "" {
        lenI, err = strconv.Atoi(lenS)
        if err != nil {
            lenI = 100
        }
    } else {
        lenI = 100
    }

    fmt.Fprintf(w, compPi(lenI))
}

func compPi(L int) string {
    var Pi []string

    N := (L)/4 + 1

    s := make([]int, N+3)
    w := make([]int, N+3)
    v := make([]int, N+3)
    q := make([]int, N+3)
    n := (int)(float32(L)/1.39793 + 1)

    w[0] = 16 * 5
    v[0] = 4 * 239

    for k := 1; k <= n; k++ {
        div(w, 25, w, N)
        div(v, 57121, v, N)
        sub(w, v, q, N)
        div(q, 2*k-1, q, N)
        if k%2 != 0 {
            add(s, q, s, N)
        } else {
            sub(s, q, s, N)
        }
    }

    Pi = append(Pi, fmt.Sprintf("%d.", s[0]))

    for k := 1; k < N; k++ {
        Pi = append(Pi, fmt.Sprintf("%04d", s[k]))
    }

    return strings.Join(Pi, "")
}

func add(a []int, b []int, c []int, N int) {
    i, carry := 0, 0
    for i = N + 1; i >= 0; i-- {
        c[i] = a[i] + b[i] + carry
        if c[i] < 10000 {
            carry = 0
        } else {
            c[i] = c[i] - 10000
            carry = 1
        }
    }
}

func sub(a []int, b []int, c []int, N int) {
    i, borrow := 0, 0
    for i = N + 1; i >= 0; i-- {
        c[i] = a[i] - b[i] - borrow
        if c[i] >= 0 {
            borrow = 0
        } else {
            c[i] = c[i] + 10000
            borrow = 1
        }
    }
}

func div(a []int, b int, c []int, N int) {
    i, tmp, remain := 0, 0, 0
    for i = 0; i <= N+1; i++ {
        tmp = a[i] + remain
        c[i] = tmp / b
        remain = (tmp % b) * 10000
    }
}

服務測試

基於上面提供的hpa-test-app映象, 我們建立一個hpa-test-app service, 然後為該service新增HPA機制。

注意事項:

  • 當Pod沒有設定request時，HPA不會工作。

建立Deployment

注意根據需要修改自己的映象地址

cat << EOF > hpa-test-app-deploy.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: hpa-test-app-deploy
  labels:
    app: hpa
    version: v0.0.1
spec:
  replicas: 1
  selector:
    matchLabels:
      name: hpa-test-app-deploy
      app: hpa
      version: v0.0.1
  template:
    metadata:
      labels:
        name: hpa-test-app-deploy
        app: hpa
        version: v0.0.1
    spec:
      containers:
      - name: hpa-test-app-deploy
        image: 192.168.204.15/kubernetes/hpa-test-app:v0.0.1
        ports:
        - containerPort: 8080
          name: http
          protocol: TCP
        resources:
          requests:
            cpu: 0.006
            memory: 32Mi
          limits:
            cpu: 0.06
            memory: 128Mi
EOF
kubectl create -f hpa-test-app-deploy.yaml

建立service

cat << EOF > hpa-test-app-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: hpa-test-app-svc
  labels:
    app: hpa
    version: v0.0.1
spec:
  selector:
    name: hpa-test-app-deploy
    app: hpa
    version: v0.0.1
  ports:
  - name: http
    port: 8080
    protocol: TCP
EOF
kubectl create -f hpa-test-app-svc.yaml

建立HPA

cat << EOF > hpa-test-app-hpa.yaml
apiVersion: autoscaling/v1
kind: HorizontalPodAutoscaler
metadata:
  name: hpa-test-app-hpa
  labels:
    app: hpa
    version: v0.0.1
spec:
  scaleTargetRef:
    apiVersion: v1
    kind: Deployment
    name: hpa-test-app-deploy
  minReplicas: 1
  maxReplicas: 10
  targetCPUUtilizationPercentage: 70
EOF
kubectl create -f hpa-test-app-hpa.yaml

檢查服務

[[email protected] hpa-test]# kubectl get pods
NAME                                   READY     STATUS    RESTARTS   AGE
hpa-test-app-deploy-69dbc4cf84-5jvb6   1/1       Running   0          23s
[[email protected] hpa-test]# kubectl logs hpa-test-app-deploy-69dbc4cf84-5jvb6
2018/02/05 05:13:14 Server work at :8080 ...
[[email protected] hpa-test]# kubectl get hpa
NAME               REFERENCE                        TARGETS    MINPODS   MAXPODS   REPLICAS   AGE
hpa-test-app-hpa   Deployment/hpa-test-app-deploy   0% / 70%   1         10        1          38s

增壓和減壓測試

首先我們啟動一個busybox的pod, 用來對hap-test-app服務進行壓力測試

cat << EOF > pod-busybox.yaml
apiVersion: v1
kind: Pod
metadata:
  name: busybox
  namespace: default
spec:
  containers:
  - image: busybox
    command:
      - sleep
      - "3600"
    imagePullPolicy: IfNotPresent
    name: busybox
  restartPolicy: Always
EOF
kubectl create -f pod-busybox.yaml

然後我們找到hpa-test-app服務的clusterIP:

[[email protected] apps]# kubectl get svc hpa-test-app-svc
NAME               TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
hpa-test-app-svc   ClusterIP   10.254.155.132   <none>        8080/TCP   1m

應用擴張

進入容器, 持續訪問hpa-test-app的API(預設計算100位的π, 如果想加大計算可以通過query string: ?length=1000來增大單個請求對cpu的壓力), 

kubectl exec -it busybox /bin/sh
/ # while true; do wget -q -O-  10.254.155.132:8080; done

然後我們持續關係HPA的擴張

[[email protected] ~]# kubectl get hpa
NAME               REFERENCE                        TARGETS      MINPODS   MAXPODS   REPLICAS   AGE
hpa-test-app-hpa   Deployment/hpa-test-app-deploy   345% / 70%   1         10        4          52m
[[email protected] ~]# kubectl get hpa
NAME               REFERENCE                        TARGETS      MINPODS   MAXPODS   REPLICAS   AGE
hpa-test-app-hpa   Deployment/hpa-test-app-deploy   287% / 70%   1         10        8          56m
[[email protected] ~]# kubectl get hpa
NAME               REFERENCE                        TARGETS    MINPODS   MAXPODS   REPLICAS   AGE
hpa-test-app-hpa   Deployment/hpa-test-app-deploy   0% / 70%   1         10        10         1h

pod數量的變化情況 1–>2–>4–>8–>10, 最終達到最大的擴充套件上線而停止.

應用收縮

中斷對app的訪問, 會發現容器又收縮為原來的1個:

[[email protected] ~]# kubectl get hpa
NAME               REFERENCE                        TARGETS    MINPODS   MAXPODS   REPLICAS   AGE
hpa-test-app-hpa   Deployment/hpa-test-app-deploy   0% / 70%   1         10        1          1h
[[email protected] ~]# kubectl describe  hpa hpa-test-app-hpa
Name:                                                  hpa-test-app-hpa
Namespace:                                             default
Labels:                                                app=hpa
                                                       version=v0.0.1
Annotations:                                           <none>
CreationTimestamp:                                     Mon, 05 Feb 2018 00:47:31 -0500
Reference:                                             Deployment/hpa-test-app-deploy
Metrics:                                               ( current / target )
  resource cpu on pods  (as a percentage of request):  0% (0) / 70%
Min replicas:                                          1
Max replicas:                                          10
Conditions:
  Type            Status  Reason            Message
  ----            ------  ------            -------
  AbleToScale     True    ReadyForNewScale  the last scale time was sufficiently old as to warrant a new scale
  ScalingActive   True    ValidMetricFound  the HPA was able to succesfully calculate a replica count from cpu resource utilization (percentage of request)
  ScalingLimited  True    TooFewReplicas    the desired replica count was less than the minimum replica count
Events:
  Type     Reason                   Age                From                       Message
  ----     ------                   ----               ----                       -------
  Warning  FailedGetResourceMetric  46m (x57 over 1h)  horizontal-pod-autoscaler  missing request for cpu on container hpa-test-app-deploy in pod default/hpa-test-app-deploy-75b4fd6cf6-sf78p
  Normal   SuccessfulRescale        41m (x2 over 1h)   horizontal-pod-autoscaler  New size: 4; reason: cpu resource utilization (percentage of request) above target
  Normal   SuccessfulRescale        33m                horizontal-pod-autoscaler  New size: 10; reason: cpu resource utilization (percentage of request) above target
  Normal   SuccessfulRescale        28m                horizontal-pod-autoscaler  New size: 1; reason: All metrics below target

總結

本文主要介紹了HPA的相關原理和使用方法，此功能可以能對服務的容器數量做自動伸縮，對於服務的穩定性是一個很好的提升。但是當前穩定版本中只有cpu使用率這一個指標，是一個很大的弊端。但是kubernetes中關於HPA的架子已經成熟, 期待v2進入stable, 到時候HPA才能爆發它正在的魅力。

參考

相關推薦

如何利用kubernetes實現應用的水平擴充套件(HPA)

雲端計算具有水平彈性的特性，這個是雲端計算區別於傳統IT技術架構的主要特性。對於Kubernetes中的POD叢集來說，HPA就是實現這種水平伸縮的控制器, 它能在當POD中業務負載上升的時候，建立新的POD來保證業務系統穩定執行，當POD中業務負載下降的時候，

利用Redis實現應用程式主備

需要實現主備的每個任務都先進行爭奪主機，通過爭奪redis中的key值。Rredis需要搭建主備高可用。 搶到key值的程式為主機，可以開始任務，備機執行緒開始等待，過段時間再進行爭奪主機。一般情況下首先搶到key值的主機會一直執行任務直到主機異常，程式崩潰等錯誤發生時，備

Docker（三）：利用Kubernetes實現容器的彈性伸縮

一、前言 　　前兩章有的介紹docker與Kubernetes。docker是專案執行的容器，Kubernetes則是隨著微服務架構的演變docker容器增多而進行其編排的重要工具。Kubernetes不僅可以對容器進行檢測狀態，還能對其自動擴容縮容。下面就來介紹介紹Kubernetes是如何自動的擴容縮容的

利用ingress實現集群外部對kubernetes內部服務的訪問

ingress kubernetes 一.基本概念 由於Pod和Service是kubernetes集群範圍內的虛擬概念，所以集群外的客戶端系統無法通過Pod的IP地址或者Service的虛擬IP地址和虛擬端口號訪問到它們。為了讓外部客戶端能夠訪問到這些服務，可以將Pod或Service的端口號

acmeair專案 單體應用利用ServiceComb實現微服務化和雲化之路

acmeair專案 單體應用利用ServiceComb實現微服務化和雲化之路 http://servicecomb.apache.org/cn/docs/go-to-cloud/ 匯入關鍵設定： <mirror> <id>alimaven</i

利用Visual Studio 2017的擴充套件開發(VSIX、ItemTemplate) 快速實現專案的半自動化搭建

目錄 0.引言 1.什麼是Visual Studio專案模板 2.IWizad介面 3.通過Visual Studio擴充套件開發實現領域驅動開發 3.1 使用VSIX+ProjectTemplate建立專案模板 3.2使用ItempTemplate建立自定義項模板

lvm基本應用，擴充套件及縮減實現

一、LVM的建立 LVM因為他的可擴充套件和可伸縮的特性，被廣泛的應用於磁碟管理中，建立LVM則必須先建立pv然後建立vg最後才能建立lv，他們之間的關係如下：呈金字塔結構 1、建立檢視pv 先用pvs檢視當前系統下所有的pv，可以看到只有sda2一個 然後我們建立一個pv，這裡我用/de

使用Spring Session實現Spring Boot水平擴充套件

本文使用Spring Session實現了Spring Boot水平擴充套件，每個Spring Boot應用與其他水平擴充套件的Spring Boot一樣，都能處理使用者請求。如果宕機，Nginx會將請求反向代理到其他執行的Spring Boot應用上，如果系統需要增加吞吐量

mycat實現mysql大表自動水平擴充套件

1.mycat是一種資料庫中介軟體，詳細資訊訪問官網http://www.mycat.org.cn/ 2.架構圖 從上圖可以看出：原來架構單伺服器單庫單表向多伺服器多庫多表轉換 這樣做的好處是：解決單臺伺服器始終存在單個檔案大小上限。無論是共享或獨佔方式的表空間，mysql

跨叢集服務——如何利用Kubernetes 1.3實現跨區高可用

編者按：這篇文章是關於Kubernetes 1.3新功能的一系列深入文章的一部分。本文是第七篇。使用者使用Kubernetes 對生產環境上的部署進行彈性伸縮，同時我們聽到一個明確的聲音：希望跨區域、跨資料中心、跨叢集和跨雲服務商來部署服務。跨叢集服務能夠分佈在不同的地理位置，使得混合和多雲成為可能，相對於單

利用Redis實現非同步訊息佇列優化系統性能 （Redis高階應用）

寫在前面 今天把之前在專案中使用 Redis 做非同步訊息佇列的使用經驗總結一下。首先明確使用目的，因為專案中，我們進行某個操作後可能後續會有一系列的其他耗時操作，但是我們不希望將主執行緒阻塞在此過程中，這時便可將其他操作非同步化。舉個栗子，當你給這篇部落格點贊或評論的時候

Java應用OpenvCV指南其六：利用OpenCV實現的數字識別（驗證碼識別）

  之前介紹了很多概念上的東西，這次讓我們來進行一次實際的應用。數字識別可以應用在許多領域，如數字型驗證碼的識別，車牌識別等領域。下面借我之前完成的一個數字驗證碼識別的小專案來簡單認識一下圖象識別領域的知識。   如果在閱讀這篇文章時有什麼疑問，可以參考一下之

實現圖片水平滑動1(利用HorizontalScrollView)

本篇寫的是利用HorizontalScrollView實現圖片或者文字佈局的橫向滑動。 HorizontalScrollView區別ScrollView是可以左右滑動，當佈局顯示超過螢幕寬度是可以滑動。 原理就是將需要滑動的佈局動態新增到HorizontalScrollVi

golang實現基於redis和consul的可水平擴充套件的排行榜服務範例

概述 　　排行榜在各種網際網路應用中廣泛存在。本文將用一個範例說明如何利用redis和consul實現可水平擴充套件的等級排行榜服務。 redis的使用 　　實現排行榜有2個地方需要用到redis: 　　1.儲存玩家的排行資訊，這裡使用的是S

利用Citrix實現虛擬化應用【IPHONE,IPAD實現企業級應用】

 前言： 剛開始虛擬化研究目的只是實現手機的移動辦公。應用場景很簡單，就是想利用當前流行的IPHONE或者IPAD能進行各種企業級的應用操作，比如老闆能用IPAD使用B/S結構的OA程式。剛開始很自然的就聯想到遠端終端連線軟體還有供應商提供的IPAD版應用程式。前者有著名的

Chrome中利用HTML5實現具有檔案“編輯”及“下載”功能的本地應用

【Data URL】 最新的HTML5瀏覽器中，已經支援用Data URL（RFC2397）來引用“外部”資源了。 比如下面的連結，在HTML5瀏覽器中點選後，會轉到一個新頁面，顯示“Hello Data URL!”字樣。 <a href="data:text/pla

【原創】我的畢業設計論文——利用HOOK技術實現應用層網路抓包

 成都東軟資訊科技職業學院04級畢業論文  利用HOOK技術實現應用層網路抓包  班級： 視覺化程式設計2班 導師： 李        丹 學號： 04311110210  姓名： 劉   海   平   摘  要     資料包抓取（攔截）技術，主要應用在資訊保安相關領域

Java利用Redis實現消息隊列

.get keys rpo throws max del 鍵值 先進先出 instance 應用場景 為什麽要用redis?二進制存儲、java序列化傳輸、IO連接數高、連接頻繁 一、序列化 　　這裏編寫了一個java序列化的工具,主要是將對象轉化為byte數組,和根

利用Tensorflow實現神經網絡模型

flow one 什麽 hold test ase tensor dom def 首先看一下神經網絡模型，一個比較簡單的兩層神經。 代碼如下： # 定義參數 n_hidden_1 = 256 #第一層神經元 n_hidden_2 = 128 #第

利用Sentinel實現Redis主從切換

edi nbsp ilo bind redis poc 自主 日誌 sent 利用Sentinel(哨兵)實現Redis集群的故障自主切換 首先部署redis主從集群，這裏忽略過程，主要看配置文件: master： bind 0.0.0.0 port 6801 log