k8s出現問題導致cpu使用率過高
今天突然發現k8s的dashboard很卡,進到master節點,用top命令檢視,發現如下資訊:
- cpu使用率很高,主要是si(軟中斷)佔用了80%
- iptables命令是佔用cpu最高的
於是用iptables -L
命令檢視iptables規則,發現提示另一個app鎖住了iptables。
於是用iptables -L -w
命令等待一段時間後,發現瘋狂刷iptables規則,於是得出結論:
有一個程式在一直往iptables裡寫東西
由於安裝k8s叢集的時候清空了iptables規則,也沒有注意到底哪一步設定了iptables規則,所以毫無頭緒,只好把k8s重新部署一遍(順便升級到1.10.0)
重新部署後發現問題所在:
- 在node節點部署kubelet時,配置了systemd unit檔案,裡面有新增iptables規則,且設定瞭如果啟動失敗每5秒嘗試重啟一次。
- 於是當kubelet啟動失敗時,它就重啟一次,然後加幾條iptables規則,於是就一直寫下去
- 我第一次部署的時候估計在master節點安裝了kubelet,但是啟動沒有成功,當時也沒在意,導致問題出現
- 重新部署後該問題解決
相關推薦
k8s出現問題導致cpu使用率過高
今天突然發現k8s的dashboard很卡,進到master節點,用top命令檢視,發現如下資訊: cpu使用率很高,主要是si(軟中斷)佔用了80% iptables命令是佔用cpu最高的 於是用iptables -L命令檢視iptables規則,發現
效能分析(5)- 軟中斷導致 CPU 使用率過高的案例
效能分析小案例系列,可以通過下面連結檢視哦 https://www.cnblogs.com/poloyy/category/1814570.html 前言 軟中斷基本原理,可參考這篇部落格:https://www.cnblogs.com/poloyy/p/13435519.html
MYSQL "ORDER BY rand()"的坑--容易導致機器負載、CPU佔用過高
在一次微信砍價活動營銷中,使用了4核16G10M頻寬的伺服器支撐業務,本來這個配置跑個PHP+MYSQL+nginx肯定輕輕鬆的事情,可是隨著活動的高潮,併發數一高,機器負載核CPU一下子就達到100% 始終找不到原因,只知道是mysql分配的記憶體不夠,一直給它加,但是重啟m
Kafka-python 客戶端導致的 cpu 使用過高,且無法消費消息的問題
的確 fse get sum req 今天 als top report 今天遇到一個情況使用了 Kafka-python 1.3.3 來操作讀取 broker 1.0.1 版本的 kafka。出現了 rebalance 之後分配到了客戶端,但是 cpu 利用率很高且無法消
假設生產環境出現CPU佔用過高,請談談你的分析思路和定位
0、top 1、檢視佔用cpu大的程序 jps -l 或者 ps -ef|grep java|grep -v grep&n
效能分析(3)- 短時程序導致使用者 CPU 使用率過高案例
效能分析小案例系列,可以通過下面連結檢視哦 https://www.cnblogs.com/poloyy/category/1814570.html 系統架構背景 VM1:用作 Web 伺服器,來模擬效能問題 VM2:用作 Web 伺服器的客戶端,來給 Web 服務增加壓力請求 使用兩臺虛擬
postgresql某進程占用cpu資源過高,降不下來
ted 影響 字段 出了 reat con sha 應該 effect 由於是開發階段,所以並沒有配置postgres的參數,都是使用安裝時的默認配置,以前運行也不見得有什麽不正常,可是前幾天我的cpu資源占用突然升高.查看進程,發現有一個postgres的進程占用CPU都
空循環導致CPU使用率很高
size 但是 同步 環境 服務 ack 明顯 優先 html 業務背景 業務背景就是需要將多張業務表中的數據增量同步到一張大寬表中,後臺系統基於這張大寬表開展業務,所以就開發了一個數據同步工具,由中間件采集binlog消息到kafka裏,然後我去消費,實現增量同步。
效能優化-CPU佔用過高問題排查
1. 效能優化是什麼? 1.1 效能優化就是發揮機器本來的效能 1.2 效能瓶頸在哪裡,木桶效應。 CPU佔用過高 1、現象重現 CPU佔用過高一般情況是程式碼中出現了迴圈呼叫,最容易出現的情況有幾種: a)遞迴呼叫,退出機制設計的不夠
kipmio佔用cpu資源過高
雖然這是一個利用空餘的CPU資源進行一些介面自動調節的任務,但看著佔那麼多的資源還是怕出意外。 可以臨時降低 echo 100 > /sys/module/ipmi_si/parameters/kipmid_max_busy_us 永久減低 編輯(沒有自行建立)/etc/modprobe.d/i
SQL Server效能優化案例分享(1)——CPU持續過高——CPU高使用率的常見原因及處理方向
本系列屬於 SQL Server效能優化案例分享 專題 部分內容借用《SQL Server 2012實施與管理實戰指南》P592,如果SQL Server錯誤日誌裡面並沒有17883/17884這類錯誤,但是SQ
linux 排查cpu負載過高異常
問:如何定位是哪個服務程序導致CPU過載,哪個執行緒導致CPU過載,哪段程式碼導致CPU過載? 步驟一、找到最耗CPU的程序 工具:top 方法: 執行top -c ,顯示程序執行資訊列表 鍵入P (大寫p),程序按照CPU使用率排序 圖示: 如上圖,最耗CPU的程序P
sqlservr.exe cpu使用率過高 (資料庫訪問有阻塞)-轉載
--1、統計佔用cpu最多的查詢,比如前10 SELECT TOP 10 total_worker_time AS TotalTime, total_worker_time/execution_count AS avg_cpu_cost, plan_handle, execution_co
cpu佔用過高排查
top命令是Linux下常用的效能分析工具,能夠實時顯示系統中各個程序的資源佔用狀況,類似於Windows的工作管理員 內容解釋: PID:程序的ID USER:程序所有者 PR:程序的優先級別,越小越優先被執行 NInice:值 VIRT:程序佔用的虛擬記憶體 RES:程序佔用的實體記憶體 SHR:程
CPU負載過高異常排查實踐與總結
昨天下午突然收到運維郵件報警,顯示資料平臺伺服器cpu利用率達到了98.94%,而且最近一段時間一直持續在70%以上,看起來像是硬體資源到瓶頸需要擴容了,但仔細思考就會發現咱們的業務系統並不是一個高併發或者CPU密集型的應用,這個利用率有點太誇張,硬體瓶頸應該不會這麼快就到了,一定是哪裡的業務程式碼邏輯有問題
java執行CPU佔用過高追蹤
流程執行命令: 1.top 查到pid 28555 2.ps aux|grep 28555 確定到是tomcat的程序 3.顯示執行緒列表 ps -mp 28555 -o THREAD,tid,time 查到tid 28802 4. printf "%x\n" 2880
程序上下文頻繁切換導致load average過高(轉)
一、問題現象 現網有兩臺虛擬機器主機95%的cpu處於idle狀態,記憶體使用率也不是特別高,而主機的load average達到了40多。 二、問題分析 先在主機上通過top、free、ps、iostat 等常用工具分析了下主機的CPU、記憶體、IO使用情況,發現三者都不高。
linux檢視java程序cpu佔用過高
linux下查詢java程序佔用CPU過高原因1. 查詢程序top檢視程序佔用資源情況明顯看出java的兩個程序22714,12406佔用過高cpu. 2.查詢執行緒使用top -H -p <pid>檢視執行緒佔用情況 3.查詢java的堆疊資訊將執行緒id轉換成十
Win10 服務主機:本地系統 CPU佔用過高
這種情況,一般開機後,本地系統的CPU佔用就一直維持在30%左右,風扇一直轉很耗電。 可能是windows版本的問題,我在不同的機子上裝了四五個系統,都出現了這種情況。 解決方法如下: 1. 找到工作管理員中的“ 服務主機:本地系統”->“Windows Upda
MySQL案例:一次單核CPU佔用過高問題的處理
客戶現場反饋,top的檢查結果中,一個CPU的佔用一直是100%。實際上現場有4個CPU,而且這個伺服器是mysql專屬伺服器。 我的第一反應是io_thread一類的引數設定有問題,檢查以後發現read和write的thread設定都是4,這和CPU數一致,因此可以斷定這並不是單顆CPU佔用過高的問題。