1. 程式人生 > >MySQL 分區表原理及使用詳解

MySQL 分區表原理及使用詳解

當前 多好 系統 lob 我們 連續 range 數據分區 拆分

1.什麽是表分區:

表分區,是指根據一定規則,將數據庫中的一張表分解成多個更小的,容易管理的部分。從邏輯上看,只有一張表,但是底層卻是由多個物理分區組成。

2.表分區與分表的區別:

分表:指的是通過一定規則,將一張表分解成多張不同的表。比如將用戶訂單記錄根據時間分成多個表,分表與分區的區別在於:分區從邏輯上來講只有一張表,而分表則是將一張表分解成多張表。

3.表分區有很多好處:

1)分區表的數據可以分布在不同的物理設備上,從而高效的利用多個硬件設備

2)和單個磁盤或者文件系統相比,可以存儲更多數據

3)優化查詢,在where語句中包含分區條件時,可以只掃描一個或多個分區表來提高查詢效率;涉及sum和count語句時,也可以在多個分區上並行處理,最後匯總結果

4)分區表更容易維護,例如:想批量刪除大量數據可以清楚整個分區

5)可以使用分區表來避免某些特殊的瓶頸,例如InnoDb的單個索引的互斥訪問,ext3問價你系統的inode鎖競爭等

4.分區表的限制因素:

1)一個表最多只能有1024個分區

2)Mysql5.1中,分區表達式必須是整數,或者返回整數的表達式,在Mysql5.5中提供了非整數表達式分區的支持

3)如果分區字段中有主鍵或者唯一索引的列,那麽多有主鍵列和唯一索引列都必須包含進來,即:分區字段要麽不包含主鍵或者索引列,要麽包含全部主鍵和索引列

4)分區表中無法使用外鍵約束

5)Mysql的分區適用於一個表的所有數據和索引,不能只對表數據分區而不對索引分區,也不能只對索引分區而不對表分區,也不能只對表的一部分數據分區

5.如何判斷當前Mysql是否支持分區?

命令行輸入:show variables like ‘%partition%‘運行結果:

have_partitioning | Yes (表示支持分區)

6.Mysql支持的分區類型有哪些?

1)range分區:按照數據的區間範圍分區

2)list分區:按照list中的值分區,與range的區別是,range分區的區間範圍值是連續的

3)hash分區:又分為常規Hash分區和線性Hash分區

4)key分區:說明在Mysql5.1版本中,range,list,hash分區要求分區鍵必須是int類型,或者通過表達式返回INT類型,但key分區的時候,可以使用其他類型的列(blob,text類型除外)作為分區鍵。

7.Range分區:

mysql> create table emp(
    -> id INT NOT null,
    -> store_id int not null
    -> )
    -> partition by range(store_id)(
    ->   partition p0 values less than(10),
    ->   partition p1 values less than(20)
    -> );

  上面的語句創建了emp表,並根據store_id字段進行分區,小於10的值存在分區p0中,大於等於10,小於20的值存在分區p1中。 註意 每個分區都是按順序定義的,從最低到最高。上面的語句,如果將less than(10) 和less than (20)的順序顛倒過來,那麽將報錯,如下:

ERROR 1493 (HY000): VALUES LESS THAN value must be strictly increasing for each partition

 Range分區存在的問題:

1)range範圍覆蓋問題:當插入的記錄中對應的分區鍵的值不在分區定義的範圍中的時候,插入語句會失敗。 上面的例子,如果我插入一條store_id = 30的記錄會怎麽樣呢? 我們上面分區的時候,最大值是20,如果插入一條超過20的記錄,會報錯:

mysql> insert into emp(id,store_id) values(2,30);
ERROR 1526 (HY000): Table has no partition for value 30

提示30這個值沒有對應的分區。 解決辦法 A. 預估分區鍵的值,及時新增分區。 B. 設置分區的時候,使用values less than maxvalue 子句,MAXVALUE表示最大的可能的整數值。 C. 盡量選擇能夠全部覆蓋的字段作為分區鍵,比如一年的十二個月等。

2)Range分區中,分區鍵的值如果是NULL,將被作為一個最小值來處理

8.LIST分區

List分區是建立離散的值列表告訴數據庫特定的值屬於哪個分區,語法:

   partition by list(exp)( //exp為列名或者表達式
        partition p0 values in (3,5)  //值為3和5的在p0分區
    )

  與range不同的是,list分區不必遵從任何特定的順序,例如:

mysql> create table emp1(
    -> id int not null,
    -> store_id int not null
    -> )
    -> partition by list(store_id)(
    ->   partition p0 values in (3,5),
    ->   partition p1 values in (2,6,7,9)
    -> );

  註意 如果插入的記錄對應的分區鍵的值不在list分區指定的值中,將會插入失敗。並且,list不能像range分區那樣提供maxvalue。

9.Columns分區:

MySQL5.5中引入的分區類型,解決了5.5版本之前range分區和list分區只支持整數分區的問題。 Columns分區可以細分為 range columns分區和 list columns分區,他們都支持整數,日期時間,字符串三大數據類型。(不支持text和blob類型作為分區鍵) columns分區還支持多列分區(這裏不詳細展開)

10.Hash分區:

Hash分區主要用來分散熱點讀,確保數據在預先確定個數的分區中盡可能平均分布,Mysql支持兩種Hash分區:唱過Hash分區和線性Hash分區

A.常規Hash分區使用取模算法:

partition by hash(store_id) partitions 4;

上面的語句,根據store_id對4取模,決定記錄存儲位置。 比如store_id = 234的記錄,MOD(234,4)=2,所以會被存儲在第二個分區。常規Hash分區的優點和不足 優點:能夠使數據盡可能的均勻分布。 缺點:不適合分區經常變動的需求。假如我要新增加兩個分區,現在有6個分區,那麽MOD(234,6)的結果與之前MOD(234,4)的結果就會出現不一致,這樣大部分數據就需要重新計算分區。為解決此問題,MySQL提供了線性Hash分區。

B.線性Hash分區:分區函數是一個線性的2的冪的運算法則。語法:

partition by LINER hash(store_id) partitions 4;

與常規Hash的不同在於,“Liner”關鍵字。 算法介紹: 假設要保存記錄的分區編號為N,num為一個非負整數,表示分割成的分區的數量,那麽N可以通過以下步驟得到:

Step 1. 找到一個大於等於num的2的冪,這個值為V,V可以通過下面公式得到:
V = Power(2,Ceiling(Log(2,num)))
例如:剛才設置了4個分區,num=4,Log(2,4)=2,Ceiling(2)=2,power(2,2)=4,即V=4

Step 2. 設置N=F(column_list)&(V-1)
例如:剛才V=4,store_id=234對應的N值,N = 234&(4-1) =2

Step 3. 當N>=num,設置V=Ceiling(V/2),N=N&(V-1)
例如:store_id=234,N=2<4,所以N就取值2,即可。
假設上面算出來的N=5,那麽V=Ceiling(2.5)=3,N=234&(3-1)=1,即在第一個分區。

線性Hash的優點和不足 優點:在分區維護(增加,刪除,合並,拆分分區)時,MySQL能夠處理得更加迅速。 缺點:與常規Hash分區相比,線性Hash各個分區之間的數據分布不太均衡。

11.Key分區

類似Hash分區,Hash分區允許使用用戶自定義的表達式,但Key分區不允許使用用戶自定義的表達式,Hash僅支持整數分區,而Key分區支持除了Blob和text的其他類型的列作為分區鍵

partition by key(exp) partitions 4;//exp是零個或多個字段名的列表

  

MySQL 分區表原理及使用詳解