MySQL臨時表
概述
MySQL中臨時表主要有兩類，包括外部臨時表和內部臨時表。外部臨時表是通過語句create temporary table...建立的臨時表，臨時表只在本會話有效，會話斷開後，臨時表資料會自動清理。內部臨時表主要有兩類，一類是information_schema中臨時表，另一類是會話執行查詢時，如果執行計劃中包含有“Using temporary”時，會產生臨時表。內部臨時表與外部臨時表的一個區別在於，我們看不到內部臨時表的表結構定義檔案frm。而外部臨時表的表定義檔案frm，一般是以#sql{程序id}_{執行緒id}_序列號組成，因此不同會話可以建立同名的臨時表。
臨時表
臨時表與普通表的主要區別在於是否在例項，會話，或語句結束後，自動清理資料。比如，內部臨時表，我們在一個查詢中，如果要儲存中間結果集，而查詢結束後，臨時表就會自動回收，不會影響使用者表結構和資料。另外就是，不同會話的臨時表可以重名，所有多個會話執行查詢時，如果要使用臨時表，不會有重名的擔憂。5.7引入了臨時表空間後，所有臨時表都儲存在臨時表空間(非壓縮)中，臨時表空間的資料可以複用。臨時表並非只支援Innodb引擎，還支援myisam引擎，memory引擎等。因此，臨時表我們看不到實體(idb檔案)，但其實不一定是記憶體表，也可能儲存在臨時表空間中。
臨時表 VS 記憶體表
臨時表既可以innodb引擎表，也可以是memory引擎表。這裡所謂的記憶體表，是說memory引擎表，通過建表語句create table ...engine=memory，資料全部在記憶體，表結構通過frm管理，同樣的內部的memory引擎表，也是看不到frm檔案中，甚至看不到information_schema在磁碟上的目錄。在MySQL內部，information_schema裡面的臨時表就包含兩類：innodb引擎的臨時表和memory引擎的臨時表。比如TABLES表屬於memory臨時表，而columns,processlist,屬於innodb引擎臨時表。記憶體表所有資料都在記憶體中，在記憶體中資料結構是一個數組(堆表)，所有資料操作都在記憶體中完成，對於小資料量場景，速度比較快(不涉及物理IO操作)。但記憶體畢竟是有限的資源，因此，如果資料量比較大，則不適合用記憶體表，而是選擇用磁碟臨時表(innodb引擎)，這種臨時表採用B+樹儲存結構(innodb引擎)，innodb的bufferpool資源是共享的，臨時表的資料可能會對bufferpool的熱資料有一定的影響，另外，操作可能涉及到物理IO。memory引擎表實際上也是可以建立索引的，包括Btree索引和Hash索引，所以查詢速度很快，主要缺陷是記憶體資源有限。
使用臨時表的場景
前面提到執行計劃中包含有“Using temporary”時，會使用臨時表，這裡列兩個主要的場景。
測試表結構如下：
mysql> show create table t1_normal\G
*************************** 1. row ***************************
Table: t1_normal
Create Table: CREATE TABLE `t1_normal` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`c1` int(11) DEFAULT NULL,
`c2` int(11) DEFAULT NULL,
`c3` int(11) DEFAULT NULL,
`c4` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=770023 DEFAULT CHARSET=utf8mysql> explain select * from t1_normal union select * from t1_normal; +----+--------------+------------+------------+------+---------------+------+---------+------+--------+----------+-----------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+--------------+------------+------------+------+---------------+------+---------+------+--------+----------+-----------------+ | 1 | PRIMARY | t1_normal | NULL | ALL | NULL | NULL | NULL | NULL | 523848 | 100.00 | NULL | | 2 | UNION | t1_normal | NULL | ALL | NULL | NULL | NULL | NULL | 523848 | 100.00 | NULL | | NULL | UNION RESULT | <union1,2> | NULL | ALL | NULL | NULL | NULL | NULL | NULL | NULL | Using temporary | +----+--------------+------------+------------+------+---------------+------+---------+------+--------+----------+-----------------+
union操作的含義是，取兩個子查詢結果的並集，重複的資料只保留一行，通過建立一個帶主鍵的臨時表，就可以解決“去重”問題，通過臨時表儲存最終的結果集，所以能看到執行計劃中Extra這一項裡面有“Using temporary”。與union相關的一個操作是union all，後者也是將兩個子查詢結果合併，但不解決重複問題。所以對於union all，沒有“去重”的含義，因此也就不需要臨時表了。
mysql> explain select * from t1_normal union all select * from t1_normal; +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+-------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+-------+ | 1 | PRIMARY | t1_normal | NULL | ALL | NULL | NULL | NULL | NULL | 523848 | 100.00 | NULL | | 2 | UNION | t1_normal | NULL | ALL | NULL | NULL | NULL | NULL | 523848 | 100.00 | NULL | +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+-------+
場景2：group by
mysql> explain select c1,count(*) as count from t1_normal group by c1; +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+---------------------------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+---------------------------------+ | 1 | SIMPLE | t1_normal | NULL | ALL | NULL | NULL | NULL | NULL | 523848 | 100.00 | Using temporary; Using filesort | +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+---------------------------------+
group by的含義是按指定列分組，並預設按照指定列有序。上面的SQL語句含義是將t1_normal中的資料按c1列的值分組，統計每種c1列值的記錄數目。從執行計劃中我們看到了"Using temporary;Using filesort"，對於group by而言，我們首先需要統計每個值出現的數目，這就需要藉助臨時表來快速定位，如果不存在，則插入一條記錄，如果存在，並累加計數，所以看到了"Using temporary"；然後又因為group by隱含了排序含義，所以還需要按照c1列進行對記錄排序，所以看到了"Using filesort"。
1).消除filesort
實際上，group by也可以顯示消除“排序含義”。
mysql> explain select c1,count(*) as count from t1_normal group by c1 order by null; +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+-----------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+-----------------+ | 1 | SIMPLE | t1_normal | NULL | ALL | NULL | NULL | NULL | NULL | 523848 | 100.00 | Using temporary | +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+-----------------+可以看到，語句中加上“order by null”後，執行計劃中，不再出現“Using filesort”。
2).消除臨時表
mysql> explain select SQL_BIG_RESULT c1,count(*) as count from t1_normal group by c1; +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+----------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+----------------+ | 1 | SIMPLE | t1_normal | NULL | ALL | NULL | NULL | NULL | NULL | 523848 | 100.00 | Using filesort | +----+-------------+-----------+------------+------+---------------+------+---------+------+--------+----------+----------------+
可以看到執行計劃中已經沒有了“Using temporary”，所以group by並非一定依賴臨時表，臨時表在group by中的作用主要是“去重”。所以，實際上有另外一種方式，不使用臨時表，直接利用sort_buffer排序(sort_buffer不夠時，進行檔案排序，具體而言是每一個有序陣列作為一個單獨檔案，然後進行外排歸併)，然後再掃描得到聚合後的結果集。3).SQL_BIG_RESULT
同時我們語句中用到了“SQL_BIG_RESULT”這個hint，正是因為這個hint導致了我們沒有使用臨時表，先說說SQL_BIG_RESULT和SQL_SMALL_RESULT的含義。
SQL_SMALL_RESULT：顯示指定用記憶體表(memory引擎)
SQL_BIG_RESULT：顯示指定用磁碟臨時表(myisam引擎或innodb引擎)
兩者區別在於，使用磁碟臨時表可以藉助主鍵做去重排序，適合大資料量；使用記憶體表寫入更快，然後在記憶體中排序，適合小資料量。下面是從MySQL手冊中摘錄的說明。
SQL_BIG_RESULT or SQL_SMALL_RESULT can be used with GROUP BY or DISTINCT to tell the optimizer that the result set has many rows or is small, respectively. For SQL_BIG_RESULT, MySQL directly uses disk-based temporary tables if needed, and prefers sorting to using a temporary table with a key on the GROUP BY elements. For SQL_SMALL_RESULT, MySQL uses fast temporary tables to store the resulting table instead of using sorting. This should not normally be needed.
回到問題本身，這裡MySQL優化器根據hint知道需要使用磁碟臨時表，而最終直接選擇了陣列儲存+檔案排序這種更輕量的方式。
如何避免使用臨時表
通常的SQL優化方式是讓group by 的列建立索引，那麼執行group by時，直接按索引掃描該列，並統計即可，也就不需要temporary和filesort了。
mysql> alter table t1_normal add index idx_c1(c1); Query OK, 0 rows affected (1 min 23.82 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> explain select c1,count(*) as count from t1_normal group by c1 order by null; +----+-------------+-----------+------------+-------+---------------+--------+---------+------+--------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-----------+------------+-------+---------------+--------+---------+------+--------+----------+-------------+ | 1 | SIMPLE | t1_normal | NULL | index | idx_c1 | idx_c1 | 5 | NULL | 523848 | 100.00 | Using index | +----+-------------+-----------+------------+-------+---------------+--------+---------+------+--------+----------+-------------+
相關引數與狀態監控
1).引數說明
max_heap_table_size
This variable sets the maximum size to which user-created MEMORY tables are permitted to grow,The value of the variable is used to calculate MEMORY table MAX_ROWS values.
這個引數主要針對使用者建立的MEMORY表，限制記憶體表最大空間大小，注意不是記錄數目，與單條記錄的長度有關。如果超出閥值，則報錯。ERROR 1114 (HY000): The table 'xxx' is full
tmp_table_size
The maximum size of internal in-memory temporary tables.
對於使用者手工建立的記憶體表，只有引數max_heap_table_size起作用；對於內部產生的記憶體表，則引數max_heap_table_size和tmp_table_size同時起作用。對於內部產生的記憶體表(比如union，group by等產生的臨時表)，先是採用記憶體表(memory表)，然後超過設定的閥值(max_heap_table_size,tmp_table_size)就會轉為磁碟表，使用innodb引擎或者myisam引擎，通過引數internal_tmp_disk_storage_engine指定。
tmpdir
如果記憶體臨時表超出了限制，MySQL就會自動地把它轉化為基於磁碟的MyISAM表，儲存在指定的tmpdir目錄下
2.狀態監控
Created_tmp_tables，內部臨時表數目
Created_tmp_disk_tables，磁碟臨時表數目
3.information_schema相關
mysql> create temporary table t1_tmp(id int primary key,c1 int); Query OK, 0 rows affected (0.02 sec) mysql> SELECT * FROM information_schema.INNODB_TEMP_TABLE_INFO; +----------+---------------+--------+-------+----------------------+---------------+ | TABLE_ID | NAME | N_COLS | SPACE | PER_TABLE_TABLESPACE | IS_COMPRESSED | +----------+---------------+--------+-------+----------------------+---------------+ | 10063 | #sql693d_29_0 | 5 | 45 | FALSE | FALSE | +----------+---------------+--------+-------+----------------------+---------------+