1. 程式人生 > 資料庫 >MySQL 5.7臨時表空間如何玩才能不掉坑裡詳解

MySQL 5.7臨時表空間如何玩才能不掉坑裡詳解

導讀

MySQL 5.7的目標是成為釋出以來最安全的MySQL伺服器,其在SSL/TLS和全面安全開發方面有一些重要的改變。

MySQL 5.7起支援獨立臨時表空間,但個別時候也可能會踩坑的。

MySQL 5.7起,開始採用獨立的臨時表空間(和獨立的undo表空間不是一回事喲),命名ibtmp1檔案,初始化12M,且預設無上限。

選項 innodb_temp_data_file_path 可配置臨時表空間相關引數。

innodb_temp_data_file_path = ibtmp1:12M:autoextend

臨時表空間的幾點說明

  • 臨時表空間不像普通InnoDB表空間那樣,不支援裸裝置(raw device)。
  • 臨時表空間使用動態的表空間ID,因此每次重啟時都會變化(每次重啟時,都會重新初始化臨時表空間檔案)。
  • 當選項設定錯誤或其他原因(許可權不足等原因)無法建立臨時表空間時,mysqld例項也無法啟動。
  • 臨時表空間中儲存這非壓縮的InnoDB臨時表,如果是壓縮的InnoDB臨時表,則需要單獨儲存在各自的表空間檔案中,檔案存放在 tmpdir(/tmp)目錄下。
  • 臨時表元資料儲存在 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO 檢視中。

有時執行SQL請求時會產生臨時表,極端情況下,可能導致臨時表空間檔案暴漲,幫人處理過的案例中最高漲到快300G,比以前遇到的 ibdata1 檔案暴漲還要猛…

臨時表使用的幾點建議

  • 設定 innodb_temp_data_file_path 選項,設定檔案最大上限,超過上限時,需要生成臨時表的SQL無法被執行(一般這種SQL效率也比較低,可藉此機會進行優化)。
  • 檢查 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO,找到最大的臨時表對應的執行緒,kill之即可釋放,但 ibtmp1 檔案則不能釋放(除非重啟)。
  • 擇機重啟例項,釋放 ibtmp1 檔案,和 ibdata1 不同,ibtmp1 重啟時會被重新初始化而 ibdata1 則不可以。
  • 定期檢查執行時長超過N秒(比如N=300)的SQL,考慮幹掉,避免垃圾SQL長時間執行影響業務。

附:臨時表測試案例

表DDL

CREATE TEMPORARY TABLE `tmp1` (
 `id` int(10) unsigned NOT NULL DEFAULT '0',`name` varchar(50) NOT NULL DEFAULT '',`aid` int(10) unsigned NOT NULL AUTO_INCREMENT,`nid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) VIRTUAL NOT NULL,`nnid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) STORED NOT NULL,PRIMARY KEY (`aid`),KEY `name` (`name`),KEY `id` (`id`),KEY `nid` (`nid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

原表大小隻有 120MB,從這個表直接 INSERT…SELECT 導資料到tmp1表。

-rw-r----- 1 yejr imysql 120M Apr 14 10:52 /data/mysql/test/sid.ibd

生成臨時表(去掉虛擬列,臨時表不支援虛擬列,然後寫入資料),還更大了(我也不解,以後有機會再追查原因)。

-rw-r----- 1 yejr imysql 140M Jun 25 09:55 /Users/yejinrong/mydata/ibtmp1

檢視臨時表元資料資訊

[email protected] [test]>select * from 
 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO\G
*********************** 1. row ***********************
   TABLE_ID: 405
    NAME: #sql14032_300000005_3
    N_COLS: 6
    SPACE: 421
PER_TABLE_TABLESPACE: FALSE
  IS_COMPRESSED: FALSE

再刪除索引,結果,又更大了

-rw-r----- 1 yejr imysql 204M Jun 25 09:57 /data/mysql/ibtmp1

第二次測試刪除索引後,變成了200M(因為第二次測試時,我設定了臨時表最大200M)

innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M
-rw-r----- 1 yejr imysql 200M Jun 25 10:15 /data/mysql/ibtmp1

執行一個會產生臨時表的慢SQL。

注:MySQL 5.7起,執行UNION ALL不再產生臨時表(除非需要額外排序)。

[email protected] [test]>explain select * from tmp1 union 
 select id,name,aid from sid\G
*************************** 1. row ***************************
   id: 1
 select_type: PRIMARY
  table: tmp1
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: 3986232
  filtered: 100.00
  Extra: NULL
*************************** 2. row ***************************
   id: 2
 select_type: UNION
  table: sid
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: 802682
  filtered: 100.00
  Extra: NULL
*************************** 3. row ***************************
   id: NULL
 select_type: UNION RESULT
  table: <union1,2>
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: NULL
  filtered: NULL
  Extra: Using temporary

檔案漲到588M還沒結束,我直接給卡了

-rw-r----- 1 yejr imysql 588M Jun 25 10:07 /data/mysql/ibtmp1

第二次測試時,設定了臨時表空間檔案最大200M,再執行會報錯:

[email protected] [test]>select * from tmp1 union 
 select id,aid from sid;
ERROR 1114 (HY000): The table '/var/folders/bv/j4tjn6k54dj5jh1tl8yn6_y00000gn/T/#sql14032_5_8' is full

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對我們的支援。

參考

[MySQL FAQ]系列 — 什麼情況下會用到臨時表

FAQ系列 | 如何避免ibdata1檔案大小暴漲

https://dev.mysql.com/doc/refman/5.7/en/temporary-files.html

https://dev.mysql.com/doc/refman/5.7/en/internal-temporary-tables.html

https://dev.mysql.com/doc/refman/5.7/en/innodb-parameters.html#sysvar_innodb_temp_data_file_path

https://dev.mysql.com/doc/refman/5.7/en/innodb-temporary-tablespace.html