智慧 Request 推薦，K8s 資源利用率提升 252%
作者
王孝威，FinOps 認證從業者，騰訊雲容器服務產品經理，熱衷於為客戶提供高效的 Kubernetes 使用方式，為客戶極致降本增效服務。
餘宇飛，FinOps 認證從業者，騰訊雲專家工程師，從事雲原生可觀測性、資源管理、降本增效產品的開發。
資源利用率為何都如此之低？
雖然 Kubernetes 可以有效的提升業務編排能力和資源利用率，但如果沒有額外的能力支撐，提升的能力十分有限，根據 TKE 團隊之前統計的資料： Kubernetes 降本增效標準指南| 容器化計算資源利用率現象剖析，如下圖所示：TKE 節點的資源平均利用率在 14% 左右。
為什麼 Kubernetes 叢集的資源利用率依舊不高？
這裡一個很重要的原因是因為 Kubernetes 的資源排程邏輯，在建立 Kubernetes 工作負載的時候，通常需要為工作負載配置合適的資源 Request 和 Limit，表示對資源的佔用和限制，其中對利用率影響最大的是 Request。
為防止自己的工作負載所用的資源被別的工作負載所佔用，或者是為了應對高峰流量時的資源消耗訴求，使用者一般都習慣將 Request 設定得較大，這樣 Request 和實際使用之間的差值，就造成了浪費，而且這個差值的資源，是不能被其它工作負載所使用的。
Request 數值不合理的過大，是造成 Kubernetes 叢集資源利用率低一個很普遍的現象。另外，每個節點的資源很難被充分分配，如下圖所示，節點普遍會存在一些資源的碎片（Leftover），這些都是導致叢集整理資源利用率不高的原因。
資源實際利用率到底有多低？
如何設定更合理的資源 Request，首先需要分析業務對資源的消耗情況。在騰訊雲原生 Kubernetes 降本增效標準指南| 資源利用率提升工具大全資源常見浪費場景部分，有對單一的工作負載進行分析，工作負載設定的 Request 中至少有一半的資源沒有被使用，而且這部分資源不能被其他的工作負載使用，浪費現象嚴重。 這時把視角上升到叢集維度，下圖是某一 TKE 叢集的 CPU 分配率和使用率。
分配率是用所有容器對 CPU 的 Request 之和除以叢集所有節點的 CPU 數量，使用率是所有容器對 CPU 的 Usage 之和除以叢集所有節點的 CPU 數量：
可見叢集整體的 CPU 分配率在60%左右，但 CPU 實際的利用率最高不超過 10%。可以理解成使用者在雲上花了一百元，實際上 90多元都被浪費掉了。
如何設定 Request？
提升資源利用率有很多種方法，詳見 Kubernetes 降本增效標準指南| 資源利用率提升工具大全。本文主要探討 Request 的設定。
既然設定了 Request 導致資源利用率如此之低，那是不是乾脆不要設定 Request了，然後直接把叢集的規模縮減到原來的十分之一，就可以解決上圖中的問題？這確實看似是一種簡單高效的方法，但存在幾個較為嚴重的問題：
- Kubernetes 會自動配置 Pod 的服務質量 QoS，對於沒有設定 Request 數值的 Pod，當資源比較緊張時，比較容易被驅逐，業務穩定性受到影響。
- 叢集的整理資源實際上並不是一個完整的整體，叢集是由很多節點構成的，實際的 CPU 和記憶體的資源都是節點的屬性，每個節點的容量大小有上限，例如64核 CPU，對於比較大的業務來說，可能需要一個數千核乃至數萬核的叢集，這樣叢集裡的節點數量就會變多，節點數量越多，每個節點的碎片資源越多，碎片資源都無法有效被利用。
- 業務本身可能會有較大波動，例如地鐵系統白天繁忙、夜晚空閒，設定固定的 Request 數值必須按照峰值考慮，此時浪費現象依舊突出。
可以看出，Request 的設定對於運維開發來說一直是個很大難題，Request 設定過小容易導致業務執行時效能受到影響，設定過大勢必造成浪費。
Request 智慧推薦
是否存在一個有效的工具，能基於業務本身的特性自動推薦甚至設定 Request 數值？
這樣無疑對開發運維來說極大的減輕了負擔。為解決這樣的問題，TKE 成本大師推出了 Request 智慧推薦的工具。使用者可以通過標準 Kubernetes API（例如：/apis/recommendation.tke.io/v1beta1/namespaces/kube-system/daemonsets/kube-proxy）訪問相應的推薦值。
該功能啟動後，Request 智慧推薦的相關元件會從騰訊雲監控（未來支援 Prometheus，InfluxDB，或第三方雲廠商）拉取叢集中所有 Deployment、DaemonSet、StatefulSet 在過去一段時間存在過的容器的 CPU 和 記憶體的監控指標，計算相應的 P99 值，再乘以一個安全係數（例如：1.15），當作推薦的 Request。
關於 Limit，Request 智慧推薦功能推薦的 Limit ，以初始 Request 智慧推薦功能設定的 Request 與 Limit 之比計算。例如初始設定的 CPU 的 Request 數值為 1000m，Limit 為 2000m，Request 與 Limit 之比為 1:2。若新推薦的 CPU 的 Request 數值為 500m，則會推薦 Limit 為 1000m。
更多關於 Request 智慧推薦的使用請參考：Request 智慧推薦產品文件。
Request 推薦參考應用的歷史資源消耗峰值，給出一個相對「合理」並且「安全」的資源請求值，可以很大程度上緩解由於業務 Request 設定不合理導致的資源浪費或者業務不穩定。
例如在下面的叢集中應用 Request 推薦，業務資源使用量在 10 核左右，但手工配置的 Request 是 60 核，實際上 Request 設定在 17 核就足夠了，利用率從之前的 16.7%（=10/60） 左右 提升到 58.8%（=10/17），提升了 252%（=（58.8-16.7）/16.7），CPU 節省了 71.7%(=(60-17)/60)。
AHPA
當然 ，Request 智慧推薦不是銀彈，因為應用的資源消耗並不是一成不變的，大量的應用都存在潮汐現象，業務高峰和低谷所需要的資源存在著幾倍甚至幾十倍的差距。以高峰期資源需求為準設定的 Request，使得業務在空閒時段佔有大量並不使用的資源，導致應用的平均資源利用率依然不高。此時，想要做進一步優化，就需要藉助彈性伸縮的手段。
現階段，HPA 是 Kubernetes 領域最常用的彈性工具，雖然 HPA 可以一定程度上解決週期性業務流量資源使用彈性的問題，但是 HPA 是有滯後性的。具體表現在：通常 HPA 需要先定義監控的指標，例如 CPU 利用率 60%，然後相關的監控元件監控到負載壓力變大，觸達了這個使用率的閾值，HPA 才會擴縮容副本數。
通過對大量執行在騰訊雲上的內部和外部使用者的實際應用的觀察，我們發現許多業務的資源使用在時間序列上是具有周期性的，特別是對於那些直接或間接為“人”服務的業務。這種週期是由人們日常活動的規律性決定的。例如：
- 人們習慣於中午和晚上點外賣
- 早上和晚上是交通高峰期
- 即使對於沒有明顯模式的服務，如搜尋，夜間的請求量也遠低於白天
對於與此類相關的應用程式，從過去幾天的歷史資料中推斷第二天的指標，或從上週一的資料推斷下週一的訪問流量是一個自然的想法。通過對未來的指標預測，可以更好地管理應用程式例項，穩定系統，同時降低成本。
CRANE 是 TKE 成本大師的技術底座，專注於通過多種技術，優化資源利用，進而降低使用者的雲上成本。 CRANE 中的 Predictor 模組可以自動識別出 Kubernetes 叢集中應用的各種監控指標（例如 CPU 負載、記憶體佔用、請求 QPS 等）的週期性，並給出未來一段時間的預測序列。在此基礎上，我們開發了 AHPA（advanced-horizontal-pod-autoscaler)，它能夠識別適合水平自動縮放的應用程式，制定縮放計劃，並自動進行縮放操作。它利用了原生 HPA 機制，但它基於預測，並主動提前擴容應用程式，而不是被動地對監測指標做出反應。與原生 HPA 相比，AHPA 消除了手動配置和自動縮放滯後的問題，徹底解放運維。 主要有如下特點：
- 可靠性—-保證可伸縮性和可用性
- 響應能力——擴充套件快，快速應對高負載
- 資源效能——降低成本
下圖是該專案的實際執行效果：
- 紅線是工作負載的實際資源使用量
- 綠線是預測該工作負載的資源使用量
- 藍線是給出的彈性推薦的資源使用量
CRANE 和 AHPA 即將開源，敬請期待。
更多關於雲原生的成本優化原理和實際案例可參考《降本之源-雲原生成本管理白皮書》，是騰訊基於內外雲原生成本管理最佳實踐，並結合行業優秀案例，提出的一套體系化的雲原生成本優化方法論和最佳實踐路徑。旨在幫助企業改善用雲成本，充分發揮雲原生的效能和價值。
更多白皮書細節內容，在【騰訊雲原生】公眾號回覆“白皮書”下載瞭解。
關於我們
更多關於雲原生的案例和知識，可關注同名【騰訊雲原生】公眾號~
福利：
①公眾號後臺回覆【手冊】，可獲得《騰訊雲原生路線圖手冊》&《騰訊雲原生最佳實踐》~
②公眾號後臺回覆【系列】，可獲得《15個系列100+篇超實用雲原生原創乾貨合集》，包含Kubernetes 降本增效、K8s 效能優化實踐、最佳實踐等系列。
③公眾號後臺回覆【白皮書】，可獲得《騰訊雲容器安全白皮書》&《降本之源-雲原生成本管理白皮書v1.0》
【騰訊雲原生】雲說新品、雲研新術、雲遊新活、雲賞資訊，掃碼關注同名公眾號，及時獲取更多幹貨！！