一、問題

二、方案細節

2.1 預留計算公式

      Node Capacity
---------------------------
|     kube-reserved       |
|-------------------------|
|     system-reserved     |
|-------------------------|
|    eviction-threshold   |
|-------------------------|
|                         |
|      allocatable        |
|   (available for pods)  |
|                         |
|                         |
---------------------------
 

NodeAllocatable = [NodeCapacity] - [kube-reserved] - [system-reserved] - [eviction-threshold]

• Node Capacity：Node的所有硬體資源
• kube-reserved：給kube元件預留的資源
• system-reserved：給System程序預留的資源
• eviction-threshold：kubelet eviction的閾值設定
• Allocatable：真正scheduler排程Pod時的參考值（保證Node上所有Pods的request resource不超過Allocatable）

2.2 kubelet新增額外啟動引數

--enforce-node-allocatable=pods,kube-reserved,system-reserved
--kube-reserved-cgroup=/system.slice/kubelet.service
--system-reserved-cgroup=/system.slice
--kube-reserved=cpu=200m,memory=250Mi
--system-reserved=cpu=200m,memory=250Mi
--eviction-hard=memory.available<5%,nodefs.available<
 
10%,imagefs.available<10%
--eviction-soft=memory.available<10%,nodefs.available<15%,imagefs.available<15%
--eviction-soft-grace-period=memory.available=2m,nodefs.available=2m,imagefs.available=2m
--eviction-max-pod-grace-period=30
--eviction-minimum-reclaim=memory.available=0Mi,nodefs.available=500Mi,imagefs.available=500Mi

（1）開啟為kube元件和系統守護程序預留資源的功能

--enforce-node-allocatable=pods,kube-reserved,system-reserved

（2）設定k8s元件的cgroup

--kube-reserved-cgroup=/system.slice/kubelet.service

（3）設定系統守護程序的cgroup

--system-reserved-cgroup=/system.slice

（4）配置為k8s元件預留資源的大小，CPU、Mem。（ephemeral storage是a’lpha特性，需要kubelet開啟feature-gates，預留的是臨時儲存空間（log，EmptyDir），生產環境建議先不使用）

--kube-reserved=cpu=200m,memory=250Mi

（5）配置為系統守護程序預留資源的大小（預留的值需要根據機器上容器的密度做一個合理的值）

--system-reserved=cpu=200m,memory=250Mi

當系統記憶體不足時，就有可能觸發系統 OOM，這時候根據 oom score 來確定優先殺死哪個程序，而 oom_score_adj 又是影響 oom score 的重要引數，其值越低，表示 oom 的優先順序越低。在計算節點中，程序的 oom_score_adj 如下：

所以，很大概率上，OOM 的優先順序如下：
best effort pod > 其它程序 > guarantee pod > kubelet/docker 等 > sshd 等。
如果節點沒有 best effort 型別的 pod，那麼其它程序就有可能被 OOM，包括系統程序等。
（6）驅逐pod的配置：硬閾值（保證95%的記憶體利用率）

--eviction-hard=memory.available<5%,nodefs.available<10%,imagefs.available<10%

（7）驅逐pod的配置：軟閾值

--eviction-soft=memory.available<10%,nodefs.available<15%,imagefs.available<15%

（8）定義達到軟閾值之後，持續時間超過多久才進行驅逐

--eviction-soft-grace-period=memory.available=2m,nodefs.available=2m,imagefs.available=2m

（9）驅逐pod前最大等待時間=min(pod.Spec.TerminationGracePeriodSeconds, eviction-max-pod-grace-period)，單位秒

--eviction-max-pod-grace-period=30

（10）至少回收

--eviction-minimum-reclaim=memory.available=0Mi,nodefs.available=500Mi,imagefs.available=500Mi

2.3 新增cgroup subsystem

在Kubernetes 1.8版本，kubelet啟動會檢查以下cgroup subsystem的存在：cpu、cpuacct、cpuset、memory、systemd。所以需要確保這些cgroup目錄的存在。

mkdir -p /sys/fs/cgroup/cpu/system.slice/kubelet.service
mkdir -p /sys/fs/cgroup/cpuacct/system.slice/kubelet.service
mkdir -p /sys/fs/cgroup/cpuset/system.slice/kubelet.service
mkdir -p /sys/fs/cgroup/memory/system.slice/kubelet.service
mkdir -p /sys/fs/cgroup/systemd/system.slice/kubelet.service

三、Ref