2. 程式人生 > >MySQL中的兩種臨時表

MySQL中的兩種臨時表

阿新 • • 發佈：2019-02-12

http://mysql.taobao.org/monthly/2016/06/07/

外部臨時表

通過CREATE TEMPORARY TABLE 建立的臨時表，這種臨時表稱為外部臨時表。這種臨時表只對當前使用者可見，當前會話結束的時候，該臨時表會自動關閉。這種臨時表的命名與非臨時表可以同名（同名後非臨時表將對當前會話不可見，直到臨時表被刪除）。

內部臨時表

內部臨時表是一種特殊輕量級的臨時表，用來進行效能優化。這種臨時表會被MySQL自動建立並用來儲存某些操作的中間結果。這些操作可能包括在優化階段或者執行階段。這種內部表對使用者來說是不可見的，但是通過EXPLAIN或者SHOW STATUS可以檢視MYSQL是否使用了內部臨時表用來幫助完成某個操作。內部臨時表在SQL語句的優化過程中扮演著非常重要的角色， MySQL中的很多操作都要依賴於內部臨時表來進行優化。但是使用內部臨時表需要建立表以及中間資料的存取代價，所以使用者在寫SQL語句的時候應該儘量的去避免使用臨時表。

內部臨時表有兩種型別：一種是HEAP臨時表，這種臨時表的所有資料都會存在記憶體中，對於這種表的操作不需要IO操作。另一種是OnDisk臨時表，顧名思義，這種臨時表會將資料儲存在磁碟上。OnDisk臨時表用來處理中間結果比較大的操作。如果HEAP臨時表儲存的資料大於MAX_HEAP_TABLE_SIZE（詳情請參考MySQL手冊中系統變數部分），HEAP臨時表將會被自動轉換成OnDisk臨時表。OnDisk臨時表在5.7中可以通過INTERNAL_TMP_DISK_STORAGE_ENGINE系統變數選擇使用MyISAM引擎或者InnoDB引擎。

本篇文章主要介紹哪些操作可能會利用到內部臨時表。如果使用者在書寫SQL語句的時候能夠儘量少的使用內部臨時表進行查詢優化，將有效的提高查詢執行的效率。

首先我們定義一個表t1，
CREATE TABLE t1( a int, b int); INSERT INTO t1 VALUES(1,2),(3,4);

下面所有的操作都是基於表t1進行舉例的。

  • 在SQL語句中使用SQL_BUFFER_RESULT hint

SQL_BUFFER_RESULT主要用來讓MySQL儘早的釋放表上的鎖。因為如果資料量很大的話，需要較長時間將資料傳送到客戶端，通過將資料緩衝到臨時表中可以有效的減少讀鎖對錶的佔用時間。
例如：

	mysql> explain format=json select SQL_BUFFER_RESULT * from t1;
	EXPLAIN
	{
	  "query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "2.00"
		},
		"buffer_result": {
		  "using_temporary_table": true,
		  "table": {
			"table_name": "t1",
			"access_type": "ALL",
		...
  • 如果SQL語句中包含了DERIVED_TABLE。

在5.7中，由於採用了新的優化方式，我們需要使用 set optimizer_switch=’derived_merge=off’來禁止derived table合併到外層的Query中。
例如：

	mysql> explain format=json select * from (select * from t1) as tt;
	EXPLAIN
	{
	  "query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "2.40"
		},
		"table": {
		  "table_name": "tt",
		  "access_type": "ALL",
		  ...
		  "materialized_from_subquery": {
			"using_temporary_table": true,
		...
  • 如果我們查詢系統表的話，系統表的資料將被儲存到內部臨時表中。

我們當前不能使用EXPLAIN來檢視是否讀取系統表資料需要利用到內部臨時表，但是可以通過SHOW STATUS來檢視是否利用到了內部臨時表。
例如：

	mysql> select * from information_schema.character_sets;
	mysql> show status like 'CREATE%';
  • 如果DISTINCT語句沒有被優化掉，即DISTINCT語句被優化轉換為GROUP BY操作或者利用UNIQUE INDEX消除DISTINCT, 內部臨時表將會被使用。
	mysql> explain format=json select distinct a from t1;
	EXPLAIN
	{
	{
	  "query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "1.60"
		},
		"duplicates_removal": {
		  "using_temporary_table": true,
		...
  • 如果查詢帶有ORDER BY語句，並且不能被優化掉。下面幾種情況會利用到內部臨時表快取中間資料，然後對中間資料進行排序。

1）如果連線表使用BNL（Batched Nestloop）/BKA(Batched Key Access)
例如：

1))BNL預設是開啟的

mysql> explain format=json select * from t1, t1 as t2 order by t1.a;
EXPLAIN
{
  "query_block": {
  "select_id": 1,
  "cost_info": {
	"query_cost": "22.00"
  },
  "ordering_operation": {
	"using_temporary_table": true,
  ...

2))關掉BNL後，ORDER BY將直接使用filesort。

mysql> set optimizer_switch='block_nested_loop=off';
Query OK, 0 rows affected (0.00 sec)
mysql> explain format=json select * from t1, t1 as t2 order by t1.a;
EXPLAIN
{
   "query_block": {
	"select_id": 1,
	"cost_info": {
	  "query_cost": "25.00"
	},
	"ordering_operation": {
	  "using_filesort": true,
	...

2）ORDER BY的列不屬於執行計劃中第一個連線表的列。 
例如：

mysql> explain format=json select * from t as t1, t as t2 order by t2.a;
EXPLAIN
{
   "query_block": {
	"select_id": 1,
	"cost_info": {
	  "query_cost": "25.00"
	},
	"ordering_operation": {
	  "using_temporary_table": true,
	...

3）如果ORDER BY的表示式是個複雜表示式。

那麼什麼樣的ORDER BY表示式，MySQL認為是複雜表示式呢？

1))如果排序表示式是SP或者UDF。
例如：

drop function if exists func1;
delimiter |
create function func1(x int)
returns int deterministic
begin
declare z1, z2 int;
set z1 = x;
set z2 = z1+2;
return z2;
end|
delimiter ;
explain format=json select * from t1 order by func1(a);
{
	"query_block": {
	"select_id": 1,
	"cost_info": {
	  "query_cost": "2.20"
	},
	"ordering_operation": {
	  "using_temporary_table": true,
	...

2))ORDER BY的列包含聚集函式

為了簡化執行計劃，我們利用INDEX來優化GROUP BY語句。
例如：

  create index idx1 on t1(a);
  explain format=json SELECt a FROM t1 group by a order by sum(a);
  | {
	   "query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "1.20"
		},
		"ordering_operation": {
		  "using_temporary_table": true,
		  "using_filesort": true,
		  "grouping_operation": {
			"using_filesort": false,
		...
  drop index idx1 on t1;

3))ORDER BY的列中包含有SCALAR SUBQUERY,當然該SCALAR SUBQUERY沒有被優化掉。
例如：

explain format=json select (select rand() from t1 limit 1) as a from t1 order by a;		
| {
	  "query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "1.20"
		},
		"ordering_operation": {
		  "using_temporary_table": true,
		  "using_filesort": true,
			...

4) 如果查詢既帶有ORDER BY同時也有GROUP BY語句，但是兩個語句使用的列不相同。

注意: 如果是5.7，我們需要將sql_mode設定為非only_full_group_by模式，否則會報錯。

同樣為了簡化執行計劃，我們利用INDEX來優化GROUP BY語句。
例如：

set sql_mode='';
create index idx1 on t1(b);
explain format=json select t1.a from t1 group by t1.b order by 1;
| {
	 "query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "1.40"
		},
	"ordering_operation": {
		  "using_temporary_table": true,
		  "using_filesort": true,
		  "grouping_operation": {
			"using_filesort": false,
	...
drop index idx1 on t1;
  • 如果查詢帶有GROUP BY語句，並且不能被優化掉。下面幾種情況會利用到內部臨時表快取中間資料，然後對中間資料進行GROUP BY。

1）如果連線表使用BNL（Batched Nestloop）/BKA(Batched Key Access)。
例如：

	explain format=json select t2.a from t1, t1 as t2 group by t1.a;
	| {
		"query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "8.20"
		},
		"grouping_operation": {
		  "using_temporary_table": true,
		  "using_filesort": true,
		  "cost_info": {
			"sort_cost": "4.00"
		...

2) 如果GROUP BY的列不屬於執行計劃中的第一個連線表。
例如：

	explain format=json select t2.a from t1, t1 as t2 group by t2.a;
	| {
		"query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "8.20"
		},
		"grouping_operation": {
		  "using_temporary_table": true,
		  "using_filesort": true,
		  "nested_loop": [
		...

3) 如果GROUP BY語句使用的列與ORDER BY語句使用的列不同。
例如：

	set sql_mode='';
	explain format=json select t1.a from t1 group by t1.b order by t1.a;
	| {
	   "query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "1.40"
		},
		"ordering_operation": {
		  "using_filesort": true,
		  "grouping_operation": {
			"using_temporary_table": true,
			"using_filesort": false,
		...

4) 如果GROUP BY帶有ROLLUP並且是基於多表外連線。
例如：

	explain format=json select sum(t1.a) from t1 left join t1 as t2 on true group by t1.a with rollup;
	| {
		"query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "7.20"
		},
		"grouping_operation": {
		  "using_temporary_table": true,
		  "using_filesort": true,
		  "cost_info": {
			"sort_cost": "4.00"
		  },
		...

5) 如果GROUP BY語句使用的列來自於SCALAR SUBQUERY，並且沒有被優化掉。
例如：

	explain format=json select (select avg(a) from t1) as a from t1 group by a;
	| {
		"query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "3.40"
		},
		"grouping_operation": {
		  "using_temporary_table": true,
		  "using_filesort": true,
		  "cost_info": {
			"sort_cost": "2.00"
		  },
		...
  • IN表示式轉換為semi-join進行優化
    1) 如果semi-join執行方式為Materialization
    例如：
set optimizer_switch='firstmatch=off,duplicateweedout=off';
explain format=json select * from t1 where a in (select b from t1);
| {
	"query_block": {
	"select_id": 1,
	"cost_info": {
	  "query_cost": "5.60"
	},
	"nested_loop": [
	  {
		 "rows_examined_per_scan": 1,
			  "materialized_from_subquery": {
				"using_temporary_table": true,
				"query_block": {
				  "table": {
					"table_name": "t1",
					"access_type": "ALL",

	...

2) 如果semi-join執行方式為Duplicate Weedout
例如：

	set optimizer_switch='firstmatch=off';
	explain format=json select * from t1 where a in (select b from t1);
	 | {
		"query_block": {
		"select_id": 1,
		"cost_info": {
		  "query_cost": "4.80"
		},
		"duplicates_removal": {
		  "using_temporary_table": true,
		  "nested_loop": [
				{
		...
  • 如果查詢語句帶有UNION，MySQL將利用內部臨時表幫助UNION操作消除重複。
    例如：
	explain format=json select * from t1 union select * from t1;
	| {
		"query_block": {
		"union_result": {
		  "using_temporary_table": true,
		  "table_name": "<union1,2>",
		...
  • 如果查詢語句使用多表更新。
    這裡Explain不能看到內部臨時表被利用，所以需要檢視status。
    例如：
update t1, t1 as t2 set t1.a=3;
show status like 'CREATE%';
  • 如果聚集函式中包含如下函式，內部臨時表也會被利用。
1) count(distinct *)
例如：
	explain format=json select count(distinct a) from t1;
2) group_concat
例如：
	explain format=json select group_concat(b) from t1;

總之，上面列出了10種情況，MySQL將利用內部臨時表進行中間結果快取，如果資料量比較大的話，內部臨時表將會把資料儲存在磁碟上，這樣顯然會對效能有所影響。為了儘可能的減少效能損失，我們需要儘量避免上述情況的出現。

相關推薦

MySQL中的兩種臨時表

http://mysql.taobao.org/monthly/2016/06/07/ 外部臨時表 通過CREATE TEMPORARY TABLE 建立的臨時表，這種臨時表稱為外部臨時表。這種臨時表只對當前使用者可見，當前會話結束的時候，該臨時表會自動關閉。這種臨時

在mysql 中兩種鎖定問題

讀取 mode 可見 刪除 mit 信息 獨占鎖 rom 事務 mysql 中15.2.10.5 中描述了兩個問題，且分別給出了解決辦法。1.向子表中寫入數據，但寫入之前需確保父表中存在其相應信息。可能出現，在已經讀取父表中的數據，但另一請求將其刪除。辦法： begin

Mysql中兩種引擎的區別

mysql兩種引擎Innodb和MyIasm Innodb提供了資料庫事務的支援，並實現了sql標準的四種隔離級別，該引擎還提供了航跡鎖和外來鍵約束，它的設計目標是處理大容量資料庫系統，它本身就是基於Mysql後臺的完     整資料庫系統，Mysql執行時INnodb會

Oracle兩種臨時表的建立與使用詳解

ORACLE資料庫除了可以儲存永久表外，還可以建立臨時表temporary tables。這些臨時表用來儲存一個會話SESSION的資料，或者儲存在一個事務中需要的資料。當會話退出或者使用者提交commit和回滾rollback事務的時候，臨時表的資料自動清空，但是臨

【oracle】Oracle兩種臨時表的建立與使用詳解

ORACLE資料庫除了可以儲存永久表外，還可以建立臨時表temporary tables。這些臨時表用來儲存一個會話SESSION的資料，或者儲存在一個事務中需要的資料。當會話退出或者使用者提交commit和回滾rollback事務的時候，臨時表的資料自動清空，但是臨時表的

MySQL 中兩表關聯更新數據

log style one col bsp expired sta class inner 　　通過用戶手機號，更新他的添加時間和過期時間，兩表關聯更改副表內容 UPDATE expand_money e INNER JOIN members m ON e.uid =

excel的VBA中兩種呼叫工作表函式的方法

excel　的VBA中有兩種呼叫工作表函式的方法： Sub aa()   ActiveSheet.Range("b2") = Application.WorksheetFunction.Max(Rang

MySQL中四種常用存儲引擎的介紹

產生 存在 一個 訪問 內存 結構 高效 ins 刪除 MySQL常用的四種引擎的介紹 （1）：MyISAM存儲引擎： 不支持事務、也不支持外鍵，優勢是訪問速度快，對事務完整性沒有 要求或者以select，insert為主的應用基本上可以用這個引擎來創建表 支持3種不同的存

javascript中兩種基本常用排序算法分析

穩定 得到 直觀 height 算法 錯誤 繼續 改進冒泡 有序 備註：內容大部分從網上復制，代碼為自己手寫。僅做知識的溫故知新，並非原創。 1.冒泡排序（Bubble Sort） (1)算法描述 冒泡排序是一種簡單的排序算法。它重復地走訪過要排序的數列，一次比較兩個

Kettle實現從mysql中取2張表數據關聯的數據，並寫入到mongodb中

表數 ima 關聯 數據庫連接 查詢 ket 分享圖片 表數據 數據庫名 1 建立轉換，並設置DB連接到mysql 選中DB連接：連接類型選擇MySQL，輸入主機名稱，數據庫名稱，端口號，用戶名，密碼 輸入連接名稱，點擊確定。（可以先點擊測試，測試一下是否連接成功） 如

MySQL 什麽是臨時表

varchar ber select rod 顯示數據 命令 什麽是 會話 code 臨時表是在連接的數據庫時候的才有效果，一旦釋放資源就刪除了，當關閉連接時，Mysql會自動刪除表並釋放所有空間。 使用MySQL 臨時表的簡單實例 創建命令 CREA

Mysql的兩種存儲引擎以及區別

myisam delet b+ recover 限制 inf image 持久 事務 一、Mysql的兩種存儲引擎 　　1、MyISAM： 　　　　①不支持事務，但是整個操作是原子性的(事務具備四種特性：原子性、一致性、隔離性、持久性) 　　　　②不支持外鍵，支持表鎖，每次

mysql學習與提高4：mysql的兩種儲存引擎的索引儲存機制

目錄 概要　 MyISAM索引實現 InnoDB索引實現 總結 概要　 Mysql的BTree索引使用的是B數中的B+Tree，但對於主要的兩種儲存引擎的實現方式是不同的。 MyISAM索引實現 MyISAM引擎使用B+Tree作為索引結構，葉節點的data域存放

MySQL中的鎖（表鎖、行鎖） MySQL中的鎖（表鎖、行鎖）

MySQL中的鎖（表鎖、行鎖）       鎖是計算機協調多個程序或純執行緒併發訪問某一資源的機制。在資料庫中，除傳統的計算資源（CPU、RAM、I/O）的爭用以外，資料也是一種供許多使用者共享的資源。如何保證資料併發訪問的一致性、有效性是所在有

【轉】【MySQL】MySQL中的鎖（表鎖、行鎖，共享鎖，排它鎖，間隙鎖）

https://blog.csdn.net/soonfly/article/details/70238902 本文參考：  http://mysqlpub.com/thread-5383-1-1.html  http://blog.csdn.net/c466254931/ar

【TensorFlow】池化層max_pool中兩種paddding操作

max_pool()中padding引數有兩種模式valid和same模式。 Tensorflow的padding和卷積層一樣也有padding操作，兩種不同的操作輸出的結果有區別： 函式原型max_pool(value, ksize, strides, padding

用sql語句操作mysql資料庫的增刪改查（命令提示符和引入mysql模組兩種方式）

1:命令提示符方法： 我的 ：mysql.sql檔案。當然首先得開啟本地伺服器（我的是xampp）; 少了一步了：首先要在進入mysql -h127.0.0.1 -u root -p;後引入我的mysql.sql 檔案； 我用的是 source方法：  source

MySQL中如何用一個表中的欄位更新另一個表中欄位

1，修改1列 update student s, city c set s.city_name = c.name where s.city_code = c.code; 2，修改多個列 update a, b set a.title=b.title, a.name=b.name wh

Redis中兩種持久化方式

目錄 1.Redis的持久化： 2.Redis中持久化方式：  2.1 快照持久化 2.2 AOF持久化 2.3 快照持久化和AOF持久化的差別： 2.4手動發起快照持久化： 3.如何設定兩種持久化方式的相關資訊？  4.檢視並

【轉】mysql中為同一張表取多個別名

select employee1.name as employee from employee employee1,employee employee2 where employee1.managerId=employee2.id and