由磁碟空間不足引發叢集訪問的問題.
k8s node節點磁碟空間不足, /var/lib/docker/overlay2 空間過大,將docker的資料目錄切換到其它磁碟,
修改docker配置文檔案/usr/lib/systemd/system/docker.service,
ExecStart=/usr/bin/dockerd-current \
--graph /opt/docker \

systemctl daemon-reload
systemctl restart docker
資料目錄發生切換,切換之前此節點執行pod ,直接導致此節點上的所有pod丟失,image確實,重新拉取image,啟動容器及專案,
因為發生了大量的拉取Image,導致內網流量跑滿,一段時間,伺服器反映慢,同時併發啟動pod ,造成cpu 負載飆升,4核cpu, 負載到 60+ .
此時,發生非常恐怖影響,master節點忙於排程,負載飆高,基於pod的ingress nginx 在次節點上無法啟動, 影響前端轉發到次臺的伺服器不可用.
專案cpu限制1核,pod 徵用cpu ,pod liveness 檢測超時,進行Pod重啟,從而也影響此節點已經執行正常的pod檢測liveness及服務的執行.

緊急處理方法:
修改前端代理nginx ,去除有問題的node節點