MySQL高效能優化規範
資料庫命令規範
- 所有資料庫物件名稱必須使用小寫字母並用下劃線分割
- 所有資料庫物件名稱禁止使用 MySQL 保留關鍵字(如果表名中包含關鍵字查詢時,需要將其用單引號括起來)
- 資料庫物件的命名要能做到見名識意,並且最後不要超過 32 個字元
- 臨時庫表必須以 tmp_為字首並以日期為字尾,備份表必須以 bak_為字首並以日期 (時間戳) 為字尾
- 所有儲存相同資料的列名和列型別必須一致(一般作為關聯列,如果查詢時關聯列型別不一致會自動進行資料型別隱式轉換,會造成列上的索引失效,導致查詢效率降低)
資料庫基本設計規範
1. 所有表必須使用 Innodb 儲存引擎
沒有特殊要求(即 Innodb 無法滿足的功能如:列儲存,儲存空間資料等)的情況下,所有表必須使用 Innodb 儲存引擎(MySQL5.5 之前預設使用 Myisam,5.6 以後預設的為 Innodb)。
Innodb 支援事務,支援行級鎖,更好的恢復性,高併發下效能更好。
2. 資料庫和表的字符集統一使用 UTF8
相容性更好,統一字符集可以避免由於字符集轉換產生的亂碼,不同的字符集進行比較前需要進行轉換會造成索引失效,如果資料庫中有儲存 emoji 表情的需要,字符集需要採用 utf8mb4 字符集。
3. 所有表和欄位都需要添加註釋
使用 comment 從句新增表和列的備註,從一開始就進行資料字典的維護
4. 儘量控制單表資料量的大小,建議控制在 500 萬以內。
500 萬並不是 MySQL 資料庫的限制,過大會造成修改表結構,備份,恢復都會有很大的問題。
可以用歷史資料歸檔(應用於日誌資料),分庫分表(應用於業務資料)等手段來控制資料量大小
5. 謹慎使用 MySQL 分割槽表
分割槽表在物理上表現為多個檔案,在邏輯上表現為一個表;
謹慎選擇分割槽鍵,跨分割槽查詢效率可能更低;
建議採用物理分表的方式管理大資料。
6.儘量做到冷熱資料分離,減小表的寬度
MySQL 限制每個表最多儲存 4096 列,並且每一行資料的大小不能超過 65535 位元組。
減少磁碟 IO,保證熱資料的記憶體快取命中率(表越寬,把表裝載進記憶體緩衝池時所佔用的記憶體也就越大,也會消耗更多的 IO);
更有效的利用快取,避免讀入無用的冷資料;
經常一起使用的列放到一個表中(避免更多的關聯操作)。
7. 禁止在表中建立預留欄位
預留欄位的命名很難做到見名識義。
預留欄位無法確認儲存的資料型別,所以無法選擇合適的型別。
對預留欄位型別的修改,會對錶進行鎖定。
8. 禁止在資料庫中儲存圖片,檔案等大的二進位制資料
通常檔案很大,會短時間內造成資料量快速增長,資料庫進行資料庫讀取時,通常會進行大量的隨機 IO 操作,檔案很大時,IO 操作很耗時。
通常儲存於檔案伺服器,資料庫只儲存檔案地址資訊
資料庫欄位設計規範
1. 優先選擇符合儲存需要的最小的資料型別
原因:
列的欄位越大,建立索引時所需要的空間也就越大,這樣一頁中所能儲存的索引節點的數量也就越少也越少,在遍歷時所需要的 IO 次數也就越多,索引的效能也就越差。
方法:
a.將字串轉換成數字型別儲存,如:將 IP 地址轉換成整形資料
MySQL 提供了兩個方法來處理 ip 地址
- inet_aton 把 ip 轉為無符號整型 (4-8 位)
- inet_ntoa 把整型的 ip 轉為地址
插入資料前,先用 inet_aton 把 ip 地址轉為整型,可以節省空間,顯示資料時,使用 inet_ntoa 把整型的 ip 地址轉為地址顯示即可。
b.對於非負型的資料 (如自增 ID,整型 IP) 來說,要優先使用無符號整型來儲存
原因:
無符號相對於有符號可以多出一倍的儲存空間
SIGNED INT -2147483648~2147483647
UNSIGNED INT 0~4294967295
VARCHAR(N) 中的 N 代表的是字元數,而不是位元組數,使用 UTF8 儲存 255 個漢字 Varchar(255)=765 個位元組。過大的長度會消耗更多的記憶體。
2. 避免使用 TEXT,BLOB 資料型別,最常見的 TEXT 型別可以儲存 64k 的資料
a. 建議把 BLOB 或是 TEXT 列分離到單獨的擴充套件表中
MySQL 記憶體臨時表不支援 TEXT、BLOB 這樣的大資料型別,如果查詢中包含這樣的資料,在排序等操作時,就不能使用記憶體臨時表,必須使用磁碟臨時表進行。而且對於這種資料,MySQL 還是要進行二次查詢,會使 sql 效能變得很差,但是不是說一定不能使用這樣的資料型別。
如果一定要使用,建議把 BLOB 或是 TEXT 列分離到單獨的擴充套件表中,查詢時一定不要使用 select * 而只需要取出必要的列,不需要 TEXT 列的資料時不要對該列進行查詢。
2、TEXT 或 BLOB 型別只能使用字首索引
因為MySQL[1] 對索引欄位長度是有限制的,所以 TEXT 型別只能使用字首索引,並且 TEXT 列上是不能有預設值的
3. 避免使用 ENUM 型別
修改 ENUM 值需要使用 ALTER 語句
ENUM 型別的 ORDER BY 操作效率低,需要額外操作
禁止使用數值作為 ENUM 的列舉值
4. 儘可能把所有列定義為 NOT NULL
原因:
索引 NULL 列需要額外的空間來儲存,所以要佔用更多的空間
進行比較和計算時要對 NULL 值做特別的處理
5. 使用 TIMESTAMP(4 個位元組) 或 DATETIME 型別 (8 個位元組) 儲存時間
TIMESTAMP 儲存的時間範圍 1970-01-01 00:00:01 ~ 2038-01-19-03:14:07
TIMESTAMP 佔用 4 位元組和 INT 相同,但比 INT 可讀性高
超出 TIMESTAMP 取值範圍的使用 DATETIME 型別儲存
經常會有人用字串儲存日期型的資料(不正確的做法)
- 缺點 1:無法用日期函式進行計算和比較
- 缺點 2:用字串儲存日期要佔用更多的空間
6. 同財務相關的金額類資料必須使用 decimal 型別
- 非精準浮點:float,double
- 精準浮點:decimal
Decimal 型別為精準浮點數,在計算時不會丟失精度
佔用空間由定義的寬度決定,每 4 個位元組可以儲存 9 位數字,並且小數點要佔用一個位元組
可用於儲存比 bigint 更大的整型資料
索引設計規範
1. 限制每張表上的索引數量,建議單張表索引不超過 5 個
索引並不是越多越好!索引可以提高效率同樣可以降低效率。
索引可以增加查詢效率,但同樣也會降低插入和更新的效率,甚至有些情況下會降低查詢效率。
因為 MySQL 優化器在選擇如何優化查詢時,會根據統一資訊,對每一個可以用到的索引來進行評估,以生成出一個最好的執行計劃,如果同時有很多個索引都可以用於查詢,就會增加 MySQL 優化器生成執行計劃的時間,同樣會降低查詢效能。
2. 禁止給表中的每一列都建立單獨的索引
5.6 版本之前,一個 sql 只能使用到一個表中的一個索引,5.6 以後,雖然有了合併索引的優化方式,但是還是遠遠沒有使用一個聯合索引的查詢方式好。
3. 每個 Innodb 表必須有個主鍵
Innodb 是一種索引組織表:資料的儲存的邏輯順序和索引的順序是相同的。每個表都可以有多個索引,但是表的儲存順序只能有一種。
Innodb 是按照主鍵索引的順序來組織表的
- 不要使用更新頻繁的列作為主鍵,不適用多列主鍵(相當於聯合索引)
- 不要使用 UUID,MD5,HASH,字串列作為主鍵(無法保證資料的順序增長)
- 主鍵建議使用自增 ID 值
4. 常見索引列建議
- 出現在 SELECT、UPDATE、DELETE 語句的 WHERE 從句中的列•包含在 ORDER BY、GROUP BY、DISTINCT 中的欄位
- 並不要將符合 1 和 2 中的欄位的列都建立一個索引, 通常將 1、2 中的欄位建立聯合索引效果更好
- 多表 join 的關聯列
5.如何選擇索引列的順序
建立索引的目的是:希望通過索引進行資料查詢,減少隨機 IO,增加查詢效能 ,索引能過濾出越少的資料,則從磁碟中讀入的資料也就越少。
- 區分度最高的放在聯合索引的最左側(區分度=列中不同值的數量/列的總行數)
- 儘量把欄位長度小的列放在聯合索引的最左側(因為欄位長度越小,一頁能儲存的資料量越大,IO 效能也就越好)
- 使用最頻繁的列放到聯合索引的左側(這樣可以比較少的建立一些索引)
6. 避免建立冗餘索引和重複索引(增加了查詢優化器生成執行計劃的時間)
- 重複索引示例:primary key(id)、index(id)、unique index(id)
- 冗餘索引示例:index(a,b,c)、index(a,b)、index(a)
7. 對於頻繁的查詢優先考慮使用覆蓋索引
覆蓋索引:就是包含了所有查詢欄位 (where,select,ordery by,group by 包含的欄位) 的索引
覆蓋索引的好處:
- 避免 Innodb 表進行索引的二次查詢: Innodb 是以聚集索引的順序來儲存的,對於 Innodb 來說,二級索引在葉子節點中所儲存的是行的主鍵資訊,如果是用二級索引查詢資料的話,在查詢到相應的鍵值後,還要通過主鍵進行二次查詢才能獲取我們真實所需要的資料。而在覆蓋索引中,二級索引的鍵值中可以獲取所有的資料,避免了對主鍵的二次查詢 ,減少了 IO 操作,提升了查詢效率。
- 可以把隨機 IO 變成順序 IO 加快查詢效率: 由於覆蓋索引是按鍵值的順序儲存的,對於 IO 密集型的範圍查詢來說,對比隨機從磁碟讀取每一行的資料 IO 要少的多,因此利用覆蓋索引在訪問時也可以把磁碟的隨機讀取的 IO 轉變成索引查詢的順序 IO。
8.索引 SET 規範
儘量避免使用外來鍵約束
- 不建議使用外來鍵約束(foreign key),但一定要在表與表之間的關聯鍵上建立索引
- 外來鍵可用於保證資料的參照完整性,但建議在業務端實現•外來鍵會影響父表和子表的寫操作從而降低效能
資料庫 SQL 開發規範
1. 建議使用預編譯語句進行資料庫操作
預編譯語句可以重複使用這些計劃,減少 SQL 編譯所需要的時間,還可以解決動態 SQL 所帶來的 SQL 注入的問題。
只傳引數,比傳遞 SQL 語句更高效。
相同語句可以一次解析,多次使用,提高處理效率。
2. 避免資料型別的隱式轉換
隱式轉換會導致索引失效如:
select name,phone from customer where id = '111';
3. 充分利用表上已經存在的索引
避免使用雙%號的查詢條件。如:a like '%123%'
,(如果無前置%,只有後置%,是可以用到列上的索引的)
一個 SQL 只能利用到複合索引中的一列進行範圍查詢。如:有 a,b,c 列的聯合索引,在查詢條件中有 a 列的範圍查詢,則在 b,c 列上的索引將不會被用到。
在定義聯合索引時,如果 a 列要用到範圍查詢的話,就要把 a 列放到聯合索引的右側,使用 left join 或 not exists 來優化 not in 操作,因為 not in 也通常會使用索引失效。
4. 資料庫設計時,應該要對以後擴充套件進行考慮
5. 程式連線不同的資料庫使用不同的賬號,進位制跨庫查詢
- 為資料庫遷移和分庫分表留出餘地•降低業務耦合度
- 避免許可權過大而產生的安全風險
6. 禁止使用 SELECT * 必須使用 SELECT <欄位列表> 查詢
原因:
- 消耗更多的 CPU 和 IO 以網路頻寬資源•無法使用覆蓋索引
- 可減少表結構變更帶來的影響
8. 避免使用子查詢,可以把子查詢優化為 join 操作
通常子查詢在 in 子句中,且子查詢中為簡單 SQL(不包含 union、group by、order by、limit 從句) 時,才可以把子查詢轉化為關聯查詢進行優化。
子查詢效能差的原因:
子查詢的結果集無法使用索引,通常子查詢的結果集會被儲存到臨時表中,不論是記憶體臨時表還是磁碟臨時表都不會存在索引,所以查詢效能會受到一定的影響。特別是對於返回結果集比較大的子查詢,其對查詢效能的影響也就越大。
由於子查詢會產生大量的臨時表也沒有索引,所以會消耗過多的 CPU 和 IO 資源,產生大量的慢查詢。
9. 避免使用 JOIN 關聯太多的表
對於 MySQL 來說,是存在關聯快取的,快取的大小可以由 join_buffer_size 引數進行設定。
在 MySQL 中,對於同一個 SQL 多關聯(join)一個表,就會多分配一個關聯快取,如果在一個 SQL 中關聯的表越多,所佔用的記憶體也就越大。
如果程式中大量的使用了多表關聯的操作,同時 join_buffer_size 設定的也不合理的情況下,就容易造成伺服器記憶體溢位的情況,就會影響到伺服器資料庫效能的穩定性。
同時對於關聯操作來說,會產生臨時表操作,影響查詢效率,MySQL 最多允許關聯 61 個表,建議不超過 5 個。
10. 減少同資料庫的互動次數
資料庫更適合處理批量操作,合併多個相同的操作到一起,可以提高處理效率。
11. 對應同一列進行 or 判斷時,使用 in 代替 or
in 的值不要超過 500 個,in 操作可以更有效的利用索引,or 大多數情況下很少能利用到索引。
12. 禁止使用 order by rand() 進行隨機排序
order by rand() 會把表中所有符合條件的資料裝載到記憶體中,然後在記憶體中對所有資料根據隨機生成的值進行排序,並且可能會對每一行都生成一個隨機值,如果滿足條件的資料集非常大,就會消耗大量的 CPU 和 IO 及記憶體資源。
推薦在程式中獲取一個隨機值,然後從資料庫中獲取資料的方式。
13. WHERE 從句中禁止對列進行函式轉換和計算
對列進行函式轉換或計算時會導致無法使用索引
不推薦:
where date(create_time)='20190101'
推薦:
where create_time >= '20190101' and create_time < '20190102'
14. 在明顯不會有重複值時使用 UNION ALL 而不是 UNION
- UNION 會把兩個結果集的所有資料放到臨時表中後再進行去重操作
- UNION ALL 不會再對結果集進行去重操作
15. 拆分複雜的大 SQL 為多個小 SQL
- 大 SQL 邏輯上比較複雜,需要佔用大量 CPU 進行計算的 SQL
- MySQL 中,一個 SQL 只能使用一個 CPU 進行計算
- SQL 拆分後可以通過並行執行來提高處理效率