mysql資料庫如何實現億級資料快速清理
阿新 • • 發佈:2020-01-09
今天收到磁碟報警異常,50G的磁碟被撐爆了,分析解決過程如下:
1. 進入linux伺服器,檢視mysql資料夾中各個資料庫所佔的磁碟空間大小
看到了嗎,光olderdb就佔了25G
2. 用SQLyog登入mysql資料庫,檢視資料庫各個表的佔用空間情況
SELECT CONCAT(table_schema,'.',table_name) AS 'aaa',table_rows AS 'Number of Rows',CONCAT(ROUND(data_length/(1024*1024*1024),6),' G') AS 'Data Size',CONCAT(ROUND(index_length/(1024*1024*1024),' G') AS 'Index Size',CONCAT(ROUND((data_length+index_length)/(1024*1024*1024),' G') AS'Total' FROM information_schema.TABLES WHERE table_schema LIKE 'olderdb';
3. 查詢主鍵索引
SHOW INDEX FROM orbit
採取策略
前提:目前需要刪除80%的資料
① delete語句
我們知道delete語句的刪除速度與索引量成正比,此表中的索引量已經很大了,而且資料量非常之巨大,若採用常規delete語句刪除,必定會話費幾天的時間。
Delete語句刪除不會釋放出磁碟空間,所以肯定還是會出現報警,所以此種方式不可取。
② drop掉表
新建結構相同的表,命名“cc”,'將需要儲存的資料插入到此表中,然後drop掉老表。
Sql語句如下:
基於老表新建新表
CREATE TABLE cc LIKE orbit ;
插入資料(幾百萬的資料量一定要分批插入,一次30萬-40萬為最佳,畢竟mysql的資料處理能力有限)
按日期查詢後插入(每天大概會產生30多萬資料量,所以採用日期插入)
INSERT INTO cc SELECT * FROM orbit WHERE xttime > '2018-04-16 00:00:00' AND xttime<='2018-04-17 00:00:00';
結果如下:
可以看到50多萬的資料量用了不到5分鐘,還是比較快的。
清理後資料表空間得以釋放
然後drop掉老表
DROP TABLE orbit
目測只用了3秒左右
重新命名新表“cc”
ALTER TABLE cc RENAME TO orbit
總結
以上所述是小編給大家介紹的mysql資料庫如何實現億級資料快速清理 ,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回覆大家的。在此也非常感謝大家對我們網站的支援!