MySQL數據庫分表分區(一)(轉)
-
RANGE分區:基於一個給定連續區間的列值,把多行分配給分區。
-
LIST分區:類似於按RANGE分區,區別在於LIST分區是基於列值匹配一個離散值集合中的某個值來進行選擇。
-
HASH分區:基於用戶定義的表達式的返回值來進行選擇的分區,該表達式使用將要插入到表中的這些行的列值進行計算。這個函數可以包含MySQL 中有效的、產生非負整數值的任何表達式。
-
KEY分區:類似於按HASH分區,區別在於KEY分區只支持計算一列或多列,且MySQL 服務器提供其自身的哈希函數。必須有一列或多列包含整數值。 ----很少用到
-> partition by range(year(c3))(
-> partition p0 values less than (1995),
-> partition p1 values less than (1996),
-> partition p2 values less than (1997),
-> partition p3 values less than (1998),
-> partition p4 values less than (1999),
-> partition p5 values less than (2000),
-> partition p6 values less than (2001),
-> partition p7 values less than (2002),
-> partition p8 values less than (2003),
-> partition p9 values less than (2004),
-> partition p10 values less than (2010),
-> partition p11 values less than MAXVALUE);
Query OK, 0 rows affected (0.14 sec)
創建非分區表
mysql> create table no_part_tab ( c1 int default NULL, c2 varchar(30) default null, c3 date default null) engine=myisam;
Query OK, 0 rows affected (0.11 sec)
mysql> \d // #由於下面要用到存儲過程,這裏需要修改結束符為“//”。所謂的存儲過程其實也就是眾多sql語句的集合。
mysql> create procedure load_part_tab()
-> begin
-> declare v int default 0;
-> while v < 8000000
-> do
-> insert into part_tab
-> values (v,‘testing partitions‘,adddate(‘1995-01-01‘,(rand(v)*36520)mod 3652));
-> set v = v+1;
-> end while;
-> end
-> //
Query OK, 0 rows affected (0.04 sec)
mysql> \d ; // 執行完這個存儲過程後,需要將結束符修改回去
上面的存儲過程實際上是為了創建大量的數據(800萬條)
mysql> call load_part_tab(); // 調用load_part_tab這個存儲過程
Query OK, 1 row affected (9 min 18.95 sec)
快速將part_tab裏面的數據插入到no_part_tab裏面
mysql> insert no_part_tab select * from part_tab;
Query OK, 8000000 rows affected (8.97 sec)
Records: 8000000 Duplicates: 0 Warnings: 0
測試一:
實驗之前確保兩個表裏面的數據是一致的!保證實驗的可比性
mysql> select count(*) from part_tab where c3 > date ‘1995-01-01‘ and c3 < date ‘1995-12-31‘;
+----------+
| count(*) |
+----------+
| 795181 |
+----------+
1 row in set (0.49 sec)
mysql> select count(*) from no_part_tab where c3 > date ‘1995-01-01‘ and c3 < date ‘1995-12-31‘;
+----------+
| count(*) |
+----------+
| 795181 |
+----------+
1 row in set (3.94 sec)
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: part_tab
type: ALL //全表掃描
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 798458
Extra: Using where
1 row in set (0.09 sec)
ERROR:
No query specified
mysql> desc select count(*) from no_part_tab where c3 > date ‘1995-01-01‘ and c3 < date ‘1995-12-31‘\G;
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: no_part_tab
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 8000000
Extra: Using where
1 row in set (0.00 sec)
ERROR:
No query specified
結論:可以看到,做了分區之後,只需要掃描79萬條語句,而不做分區的,則需要進行全表掃描,故可以看出,做了分區技術後,可以提高讀寫效率。
測試2:
創建索引,查看語句執行情況
mysql> create index idx_c3 on no_part_tab(c3);
Query OK, 8000000 rows affected (32.68 sec)
Records: 8000000 Duplicates: 0 Warnings: 0
結果分析:
mysql> desc select count(*) from no_part_tab where c3 > date ‘1995-01-01‘ and c3 < date ‘1995-12-31‘\G;
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: NO_part_tab
type: range
possible_keys: idx_c3
key: idx_c3
key_len: 4
ref: NULL
rows: 785678
Extra: Using where; Using index
1 row in set (0.16 sec)
ERROR:
No query specified
結論:為未分區的表創建了索引之後,再次執行相同的語句,可以看到該SQL語句是根據range索引進行檢索,而不是全表掃描了。明顯效率也提高了。
測試3:
測試做索引與未作索引的讀寫效率。
mysql> create index idx_c3 on part_tab(c3);
Query OK, 8000000 rows affected (31.85 sec)
Records: 8000000 Duplicates: 0 Warnings: 0
mysql> desc select count(*) from part_tab where c3 > date ‘1995-01-01‘ and c3 < date ‘1995-12-31‘\G;
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: part_tab
type: index
possible_keys: idx_c3
key: idx_c3
key_len: 4
ref: NULL
rows: 798458
Extra: Using where; Using index
1 row in set (0.14 sec)
ERROR:
No query specified
測試未創建索引字段
mysql> select count(*) from no_part_tab where c3 > date ‘1995-01-01‘ and c3 < date ‘1995-12-31‘ and c2=‘hello‘;
+----------+| count(*) |
+----------+
| 0 |
+----------+
1 row in set (4.90 sec)
結論:可以看到如果沒通過索引進行檢索所耗費的時間將長於通過索引進行檢索。
測試4:刪除
mysql> delete from part_tab where c3 > date ‘1995-01-01‘ and c3 < date ‘1995-12-31‘;
Query OK, 795181 rows affected (14.02 sec)
mysql> delete from no_part_tab where c3 > date ‘1995-01-01‘ and c3 < date ‘1995-12-31‘;
Query OK, 795181 rows affected (15.21 sec)
結論:可以看到,在刪除方面,有分區的還是比沒分區的快一點。從而體現了其便於數據管理的特點
方便數據管理這點,我通過下面的例子來說明:比如數據庫的表t1記錄的是今年一整年(12個月)公司的營業額,在未分區的情況下,也就是說數據文件都存放在同一個文件裏面,那麽假如現在要刪除第一個季度的記錄,那麽需要全表掃描才能得出結果。但如果t1這個表事先做了分區,那麽我只需要分別刪除1,2,3這三個文件即可。所以從一定程度上,還是方便了管理。
MySQL數據庫分表分區(一)(轉)