MySQL 5.7臨時表空間如何玩才能不掉坑裡詳解
導讀
MySQL 5.7的目標是成為釋出以來最安全的MySQL伺服器,其在SSL/TLS和全面安全開發方面有一些重要的改變。
MySQL 5.7起支援獨立臨時表空間,但個別時候也可能會踩坑的。
MySQL 5.7起,開始採用獨立的臨時表空間(和獨立的undo表空間不是一回事喲),命名ibtmp1檔案,初始化12M,且預設無上限。
選項 innodb_temp_data_file_path 可配置臨時表空間相關引數。
innodb_temp_data_file_path = ibtmp1:12M:autoextend
臨時表空間的幾點說明
- 臨時表空間不像普通InnoDB表空間那樣,不支援裸裝置(raw device)。
- 臨時表空間使用動態的表空間ID,因此每次重啟時都會變化(每次重啟時,都會重新初始化臨時表空間檔案)。
- 當選項設定錯誤或其他原因(許可權不足等原因)無法建立臨時表空間時,mysqld例項也無法啟動。
- 臨時表空間中儲存這非壓縮的InnoDB臨時表,如果是壓縮的InnoDB臨時表,則需要單獨儲存在各自的表空間檔案中,檔案存放在 tmpdir(/tmp)目錄下。
- 臨時表元資料儲存在 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO 檢視中。
有時執行SQL請求時會產生臨時表,極端情況下,可能導致臨時表空間檔案暴漲,幫人處理過的案例中最高漲到快300G,比以前遇到的 ibdata1 檔案暴漲還要猛…
臨時表使用的幾點建議
- 設定 innodb_temp_data_file_path 選項,設定檔案最大上限,超過上限時,需要生成臨時表的SQL無法被執行(一般這種SQL效率也比較低,可藉此機會進行優化)。
- 檢查 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO,找到最大的臨時表對應的執行緒,kill之即可釋放,但 ibtmp1 檔案則不能釋放(除非重啟)。
- 擇機重啟例項,釋放 ibtmp1 檔案,和 ibdata1 不同,ibtmp1 重啟時會被重新初始化而 ibdata1 則不可以。
- 定期檢查執行時長超過N秒(比如N=300)的SQL,考慮幹掉,避免垃圾SQL長時間執行影響業務。
附:臨時表測試案例
表DDL
CREATE TEMPORARY TABLE `tmp1` ( `id` int(10) unsigned NOT NULL DEFAULT '0',`name` varchar(50) NOT NULL DEFAULT '',`aid` int(10) unsigned NOT NULL AUTO_INCREMENT,`nid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) VIRTUAL NOT NULL,`nnid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) STORED NOT NULL,PRIMARY KEY (`aid`),KEY `name` (`name`),KEY `id` (`id`),KEY `nid` (`nid`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8
原表大小隻有 120MB,從這個表直接 INSERT…SELECT 導資料到tmp1表。
-rw-r----- 1 yejr imysql 120M Apr 14 10:52 /data/mysql/test/sid.ibd
生成臨時表(去掉虛擬列,臨時表不支援虛擬列,然後寫入資料),還更大了(我也不解,以後有機會再追查原因)。
-rw-r----- 1 yejr imysql 140M Jun 25 09:55 /Users/yejinrong/mydata/ibtmp1
檢視臨時表元資料資訊
[email protected] [test]>select * from INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO\G *********************** 1. row *********************** TABLE_ID: 405 NAME: #sql14032_300000005_3 N_COLS: 6 SPACE: 421 PER_TABLE_TABLESPACE: FALSE IS_COMPRESSED: FALSE
再刪除索引,結果,又更大了
-rw-r----- 1 yejr imysql 204M Jun 25 09:57 /data/mysql/ibtmp1
第二次測試刪除索引後,變成了200M(因為第二次測試時,我設定了臨時表最大200M)
innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M
-rw-r----- 1 yejr imysql 200M Jun 25 10:15 /data/mysql/ibtmp1
執行一個會產生臨時表的慢SQL。
注:MySQL 5.7起,執行UNION ALL不再產生臨時表(除非需要額外排序)。
[email protected] [test]>explain select * from tmp1 union select id,name,aid from sid\G *************************** 1. row *************************** id: 1 select_type: PRIMARY table: tmp1 partitions: NULL type: ALL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: 3986232 filtered: 100.00 Extra: NULL *************************** 2. row *************************** id: 2 select_type: UNION table: sid partitions: NULL type: ALL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: 802682 filtered: 100.00 Extra: NULL *************************** 3. row *************************** id: NULL select_type: UNION RESULT table: <union1,2> partitions: NULL type: ALL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: NULL filtered: NULL Extra: Using temporary
檔案漲到588M還沒結束,我直接給卡了
-rw-r----- 1 yejr imysql 588M Jun 25 10:07 /data/mysql/ibtmp1
第二次測試時,設定了臨時表空間檔案最大200M,再執行會報錯:
[email protected] [test]>select * from tmp1 union select id,aid from sid; ERROR 1114 (HY000): The table '/var/folders/bv/j4tjn6k54dj5jh1tl8yn6_y00000gn/T/#sql14032_5_8' is full
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對我們的支援。
參考
[MySQL FAQ]系列 — 什麼情況下會用到臨時表
FAQ系列 | 如何避免ibdata1檔案大小暴漲
https://dev.mysql.com/doc/refman/5.7/en/temporary-files.html
https://dev.mysql.com/doc/refman/5.7/en/internal-temporary-tables.html
https://dev.mysql.com/doc/refman/5.7/en/innodb-parameters.html#sysvar_innodb_temp_data_file_path
https://dev.mysql.com/doc/refman/5.7/en/innodb-temporary-tablespace.html