1. 程式人生 > 資料庫 >mysql資料庫如何實現億級資料快速清理

mysql資料庫如何實現億級資料快速清理

今天收到磁碟報警異常,50G的磁碟被撐爆了,分析解決過程如下:

1. 進入linux伺服器,檢視mysql資料夾中各個資料庫所佔的磁碟空間大小

看到了嗎,光olderdb就佔了25G

2. 用SQLyog登入mysql資料庫,檢視資料庫各個表的佔用空間情況

SELECT CONCAT(table_schema,'.',table_name) AS 'aaa',table_rows AS 'Number of Rows',CONCAT(ROUND(data_length/(1024*1024*1024),6),' G') AS 'Data Size',CONCAT(ROUND(index_length/(1024*1024*1024),' G') AS 'Index Size',CONCAT(ROUND((data_length+index_length)/(1024*1024*1024),' G') AS'Total' 
FROM information_schema.TABLES  
WHERE table_schema LIKE 'olderdb'; 

3. 查詢主鍵索引

SHOW INDEX FROM orbit 

採取策略

前提:目前需要刪除80%的資料

① delete語句

我們知道delete語句的刪除速度與索引量成正比,此表中的索引量已經很大了,而且資料量非常之巨大,若採用常規delete語句刪除,必定會話費幾天的時間。

Delete語句刪除不會釋放出磁碟空間,所以肯定還是會出現報警,所以此種方式不可取。

② drop掉表

新建結構相同的表,命名“cc”,'將需要儲存的資料插入到此表中,然後drop掉老表。

Sql語句如下:

基於老表新建新表

CREATE TABLE cc LIKE orbit ;

插入資料(幾百萬的資料量一定要分批插入,一次30萬-40萬為最佳,畢竟mysql的資料處理能力有限)

按日期查詢後插入(每天大概會產生30多萬資料量,所以採用日期插入)

INSERT INTO cc SELECT * FROM orbit WHERE xttime > '2018-04-16 00:00:00' AND xttime<='2018-04-17 00:00:00';

結果如下:

可以看到50多萬的資料量用了不到5分鐘,還是比較快的。

清理後資料表空間得以釋放

然後drop掉老表

DROP TABLE orbit

目測只用了3秒左右

重新命名新表“cc”

ALTER TABLE cc RENAME TO orbit

總結

以上所述是小編給大家介紹的mysql資料庫如何實現億級資料快速清理 ,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回覆大家的。在此也非常感謝大家對我們網站的支援!