記一次database cpu high的處理
基本上,我們的數據庫實例每次cpu飆升都是因read而起,很少有write導致的cpu高。這說明read,隨機讀,排序,都會占用cpu。而寫入主要是io行為,尤其是順序寫,不需要占cpu。
今次問題,rds在三個小時內都很高,始終維持50+,最高甚至到98 。當然我們的業務可用性並不依賴rds。
觀察一段時間,並沒有很明顯的大的慢查詢。但是會有一些小查詢時有時無,其實這些能被肉眼看到的就可能是問題的所在。
最終定位為一個復合primary key的第二個字段單獨查詢太多,造成全表掃描。單獨添加索引後fix。
不算太慢,查詢數據量不算太多,但是十分頻繁,查詢量非常大,往往這類小sql會很隱蔽地把cpu搞上去。
記一次database cpu high的處理
相關推薦
記一次database cpu high的處理
業務 read 需要 十分 時有 一次 -1 技術 ima 基本上,我們的數據庫實例每次cpu飆升都是因read而起,很少有write導致的cpu高。這說明read,隨機讀,排序,都會占用cpu。而寫入主要是io行為,尤其是順序寫,不需要占cpu。 今次問題,rds在三個小
記一次伺服器CPU異常處理流程
上線新版本後cpu飆升,配置什麼都沒變! 1,著手調查馬上檢視慢查詢,沒有慢查詢 2,檢視慢php程序tail -f log.slow,定位到方法函式圖片轉指令方法耗時大,和cpu損耗掛鉤,基本猜測這個函式方法,但沒有優化空間 3,不死心,查一下程序耗損掛起點:ll /proc/PID號/f
記一次網絡攻擊處理
table eth1 term iptable p地址 網絡 默認 oca 運行 Linux security 記網絡攻擊 首先需要確定是哪一張網卡的帶寬跑滿,可以通過sar -n DEV 1 5 命令來獲取網卡級別的流量圖,命令中 1 5 表示每一秒鐘取 1 次值,一共取
記一次大資料量處理效能調優的過程總結
一、背景介紹 1、系統的架構是spring+mybaties+oracle。 2、系統處理的資料量在五十萬到百萬級之間,採用了kafka進行分散式處理,主要功能和要優化的模組在資料清算和資料匯出。 二、可優化點介紹 1、kafka—分散式訂閱-釋出訊息系統 kafka是一款
記一次監聽異常處理
客戶抱怨最近監聽經常異常並無法註冊服務,導致前臺程序連線失敗。根據客戶的提到最後一次的大致時間,我們來看一下監聽日誌情況: [.......]21-JUN-2017 15:35:14 * (CONNECT_DATA=(CID=(PROGRAM=)(HOST=__jdbc__)(USER=))(SERVER=
案例分析:程式媛記一次特殊的“故障”處理
關注我們獲得更多精彩作者 | 蘭珊,多年資料庫服務經驗、主要服務於政府、電網等企。擅長資料庫升級
linux程序和執行緒排查 · 記一次JVM CPU高負載的排查辦法
前言通過本文,你將學會:1、linux上程序及程序中執行緒排查的基本方法,如檢視程序中的執行緒數此文中的執行緒一般指輕量級程序。檢視所有程序資訊 top -H 加上-H這個選項啟動top,top一行顯示一個執行緒(指的是(輕量級)程序? )。否則,它一行顯示一個程序。先輸入
記一次nginx 502異常處理的判斷處理
問題場景:應用人員反映某頁面重新整理時載入的某些url有時返回500,有時返回502 網路結構:2臺主機部署應用程式,由nginx配置組成叢集提供服務 nginx配置如下: upstream cluster_testamp.xxx.cn {
記一次mongodb CPU飆升100%的解決
問題的發現過程是這樣的,一些硬體裝置上傳的實時裝置資訊客戶端不能展現,於是查詢日誌,發現數據時間延遲非常嚴重,後臺邏輯把這些資料當作過期資料扔掉了,所以沒有進入實時資料的服務(此服務是單獨部署的)。 於是開始查問題,難道原始資料就是過期的?鑑於北京的霧霾天可能對北斗(PS:
記一次使用poi匯入處理Excel中日期格式
Excel儲存日期、時間均以數值型別進行儲存,讀取時先使用POI判斷是否是數值型別,再進行進一步判斷是否為日期,最後轉化 1.純數值格式:getNumericCellValue() 直接獲取資料 2.日期格式:處理yyyy-MM-dd, d/m/yyyy h:mm,
記一次ceph pg unfound處理過程
今天檢查ceph叢集,發現有pg丟失,於是就有了本文~~~ ### 1.檢視叢集狀態 ```shell [root@k8snode001 ~]# ceph health detail HEALTH_ERR 1/973013 objects unfound (0.000%); 17 scrub errors;
記一次處理linux伺服器cpu跑滿的問題
記一次處理linux伺服器cpu跑滿的問題 公司伺服器,突然掛掉了,登入阿里雲後臺才發現,是阿里雲把我們的伺服器給關停了,提示有對外攻擊,使用top命令檢視後發現Cpu(s) us顯示98%多,但是看程序發現,並沒有佔用很多加起來也不過就10%左右。然後就給阿里雲發工單尋求幫助,因為我壓根就
記一次專案執行cpu過高處理
第一次處理這種問題,新手不懂的從何下手走了不少彎路,記錄一下,以後借鑑. 對於cpu執行過高的問題,首先要列印堆疊資訊,和執行緒執行cpu使用情況: 1.列印堆疊資訊: 先通過top -c找到自己的執行緒對應的id值: jstac
記一次線上服務CPU 100%的處理過程
## 告警 正在開會,突然釘釘告警聲響個不停,同時市場人員反饋客戶在投訴系統登不進了,報504錯誤。檢視釘釘上的告警資訊,幾臺業務伺服器節點全部報CPU超過告警閾值,達100%。 趕緊從會上下來,SSH登入伺服器,使用 `top` 命令檢視,幾個Java程序CPU佔用達到180%,190%,這幾個Java
開會時CPU 飆升100%同事們都手忙腳亂記一次應急處理過程
# 告警 正在開會,突然釘釘告警聲響個不停,同時市場人員反饋客戶在投訴系統登不進了,報504錯誤。檢視釘釘上的告警資訊,幾臺業務伺服器節點全部報CPU超過告警閾值,達100%。 趕緊從會上下來,SSH登入伺服器,使用 top 命令檢視,幾個Java程序CPU佔用達到180%,190%,這幾個Java程序對
記一次服務器IO過高處理過程
linux 服務器 緩沖區 io負載 記一次服務器IO過高處理過程 一、背景 在一次上線升級後,發現兩臺tomcat服務器的IOwait一直超過100ms,高峰時甚至超過300ms,檢查服務器發現CPU負載,內存的使用率都不高。問題可能出現在硬盤讀寫,而且那塊硬盤除了寫日誌外,沒有其他
記一次truncate導致的鎖表處理
需要 表現 cti 分析 慢查詢 ces sql 業務 復雜 一個不是很大的表,由數據分析部門生成並用於業務。由於代碼發了新版需要第一次運行,所以在業務低峰期讓數據部門執行了,邏輯是先truncate再insert重建。由於一直以來都沒問題,覺得不會出錯。結果過一會兒悲劇了
【troubleshooting】記一次Kafka集群重啟導致消息重復消費問題處理記錄
進程 pid 導致 set pic 方法 sum tails log 因需要重啟了Kafka集群,重啟後發現部分topic出現大量消息積壓,檢查consumer日誌,發現消費的數據竟然是幾天前的。由於平時topic消息基本上無積壓,consumer消費的數據都是最新的,明顯
TPS低,CPU高--記一次storm壓測問題排查過程
進入 狀態 其他 value 由於 均衡 線程狀態 左右 grep 命令 一、業務背景+系統架構 本次場景為kafka+storm+redis+hbase,通過kafka的數據,進入storm的spout組件接收,轉由storm的Bolt節點進行業務邏輯處
記一次Ceph日誌損壞的分析處理過程
Ceph 日誌 1、故障現象 今天下午看到群友在說一個問題,說ceph的某個osd處於down的狀態,我大概整理下他的處理過程 1、查看OSD的狀態2、查看日誌信息3、啟動對應的ceph-osd服務4、檢查集群健康狀態 2、日誌損壞了,如何讓osd重新上線 思路:重建日誌a、先把/var/lib/ce