1. 程式人生 > >網際網路MySQL開發規範

網際網路MySQL開發規範

寫在前面:無規矩不成方圓。對於剛加入網際網路的朋友們,肯定會接觸到MySQL,MySQL作為網際網路最流行的關係型資料庫產品,它有它擅長的地方,也有它不足的短板,針對它的特性,結合網際網路大多應用的特點,筆者根據自己多年網際網路公司的MySQL DBA經驗,現總結出網際網路MySQL的一些開發規範,僅供參考。

摘要:

  • 基礎規範

  • 命名規範

  • 庫、表、欄位開發設計規範

  • 索引規範

  • SQL規範

  • 流程規範

基礎規範

(1) 使用INNODB儲存引擎

(2) 表字符集使用UTF8

(3) 所有表都需要添加註釋

(4) 單表資料量建議控制在5000W以內

(5) 

不在資料庫中儲存圖⽚、檔案等大資料

(6) 禁止在線上做資料庫壓力測試

(7) 禁⽌從測試、開發環境直連資料庫

命名規範

(1) 庫名錶名欄位名必須有固定的命名長度,12個字元以內

(2) 庫名、表名、欄位名禁止超過32個字元。須見名之

(3) 庫名、表名、欄位名禁止使MySQL保留字

(4) 臨時庫、表名必須以tmp為字首,並以日期為後

(5) 備份庫、表必須以bak為字首,並以日期為後


庫、表、欄位開發設計規範

(1) 禁⽌使用分割槽表

(2) 拆分大欄位和訪問頻率低的欄位,分離冷熱資料

(3) 用HASH進⾏散表,表名字尾使⽤⼗進位制數,下標從0開始

(4) 按日期時間分表需符合YYYY[MM][DD][HH]格式

(5) 採用合適的分庫分表策略。例如千庫十表、十庫百表等


(6) 儘可能不使用TEXT、BLOB型別

(7) 用DECIMAL代替FLOAT和DOUBLE儲存精確浮點數

(8) 越簡單越好:將字元轉化為數字、使用TINYINT來代替ENUM型別

(9) 所有欄位均定義為NOT NULL

(10) 使用UNSIGNED儲存非負整數

(11) INT型別固定佔用4位元組儲存

(12) 使用timestamp儲存時間

(13) 使用INT UNSIGNED儲存IPV4

(14) 使用VARBINARY儲存大小寫敏感的變長字串

(15) 禁止在資料庫中儲存明文密碼,把密碼加密後儲存

(16) 用好數值型別欄位

Tinyint (1Byte)

smallint (2Byte)

mediumint (3Byte)

int (4Byte)

bigint (8Byte)

型別

位元組

最小值

最大值

(帶符號的/無符號的)

(帶符號的/無符號的)

TINYINT

1

-128

127

無符號

0

255

SMALLINT

2

-32768

32767

無符號

0

65535

MEDIUMINT

3

-8388608

8388607

無符號

0

16777215

INT

4

-2147483648

2147483647

無符號

0

4294967295

BIGINT

8

-9223372036854775808

9223372036854775807

無符號

0

18446744073709551615

如果數值欄位沒有那麼大,就不要用 bigint

(17) 儲存ip最好用int儲存而非char(15)

(18) 不允許使用ENUM

(19) 避免使用NULL欄位

NULL欄位很難查詢優化,NULL欄位的索引需要額外空間,NULL欄位的複合索引無效

(20) 少用text/blob,varchar的效能會比text高很多,實在避免不了blob,請拆表

(21) 資料庫中不允許儲存大檔案,或者照片,可以將大物件放到磁碟上,資料庫中儲存它的路徑

索引規範

1、索引的數量要控制:

(1) 單張表中索引數量不超過5個

(2) 單個索引中的欄位數不超過5個

(3) 對字串使⽤用字首索引,字首索引長度不超過8個字元

(4) 建議優先考慮字首索引,必要時可新增偽列並建立索引

2、主鍵準則

(1) 表必須有主鍵

(2) 不使用更新頻繁的列作為主鍵

(3) 儘量不選擇字串列作為主鍵

(4) 不使用UUID MD5 HASH這些作為主鍵(數值太離散了)

(5) 預設使⽤非空的唯一鍵作為主鍵

(6) 建議選擇自增或發號器

3、重要的SQL必須被索引,比如:

(1) UPDATE、DELETE語句的WHERE條件列

(2) ORDER BY、GROUP BY、DISTINCT的欄位

4、多表JOIN的欄位注意以下:

(1) 區分度最大的欄位放在前面

(2) 核⼼SQL優先考慮覆蓋索引

(3) 避免冗餘和重複索引

(4) 索引要綜合評估資料密度和分佈以及考慮查詢和更新比例

5、索引禁忌

(1) 不在低基數列上建立索引,例如“性別”

(2) 不在索引列進行數學運算和函式運算

6、儘量不使用外來鍵

(1) 外來鍵用來保護參照完整性,可在業務端實現

(2) 對父表和子表的操作會相互影響,降低可用性

7、索引命名:非唯一索引必須以 idx_欄位1_欄位2命名,唯一所以必須以uniq_欄位1_欄位2命名,索引名稱必須全部小寫

8、新建的唯一索引必須不能和主鍵重複

9、索引欄位的預設值不能為NULL,要改為其他的default或者空。NULL非常影響索引的查詢效率

10、反覆檢視與表相關的SQL,符合最左字首的特點建立索引。多條欄位重複的語句,要修改語句條件欄位的順序,為其建立一條聯合索引,減少索引數量

11、能使用唯一索引就要使用唯一索引,提高查詢效率

12、研發要經常使用explain,如果發現索引選擇性差,必須讓他們學會使用hint

SQL規範

(1) sql語句儘可能簡單

大的sql想辦法拆成小的sql語句(充分利QUERY CACHE和充分利用多核CPU)

(2) 事務要簡單,整個事務的時間長度不要太長

(3) 避免使用觸發器、函式、儲存過程

(4) 降低業務耦合度,為sacle out、sharding留有餘地

(5) 避免在資料庫中進數學運算(MySQL不擅長數學運算和邏輯判斷)

(4) 不要用select *,查詢哪幾個欄位就select 這幾個欄位

(5) sql中使用到OR的改寫為用 IN() (or的效率沒有in的效率高)

(6) in裡面數字的個數建議控制在1000以內

(7) limit分頁注意效率。Limit越大,效率越低。可以改寫limit,比如例子改寫:

select id from tlimit 10000, 10; => select id from t where id > 10000 limit10;

(9) 使用union all替代union

(10) 避免使大表的JOIN

(11) 使用group by 分組、自動排序

(12) 對資料的更新要打散後批量更新,不要一次更新太多資料

(13) 減少與資料庫的互動次數

(13) 注意使用效能分析工具

Sql explain / showprofile / mysqlsla

(14) SQL語句要求所有研發,SQL關鍵字全部是大寫,每個詞只允許有一個空格

(15) SQL語句不可以出現隱式轉換,比如 select id from 表 where id='1'

(16) IN條件裡面的資料數量要少,我記得應該是500個以內,要學會使用exist代替in,exist在一些場景查詢會比in快

(17) 能不用NOT IN就不用NOTIN,坑太多了。。會把空和NULL給查出來

(18) 在SQL語句中,禁止使用字首是%的like

(19) 不使用負向查詢,如not in/like

(19) 關於分頁查詢:程式裡建議合理使用分頁來提高效率limit,offset較大要配合子查詢使用

(20) 禁止在資料庫中跑大查詢

(21) 使⽤預編譯語句,只傳引數,比傳遞SQL語句更高效;一次解析,多次使用;降低SQL注入概率

(22) 止使order by rand()

(23) 單條SQL語句同時更新多個表

流程規範

(1) 所有的建表操作需要提前告知該表涉及的查詢sql;

(2) 所有的建表需要確定建立哪些索引後才可以建表上線;

(3) 所有的改表結構、加索引操作都需要將涉及到所改表的查詢sql發出來告知DBA等相關人員;

(4) 在建新表加欄位之前,要求研發至少要提前3天郵件出來,給dba們評估、優化和稽核的時間

(5)批量導入、匯出資料必須提前通知DBA協助觀察

(6) 在線上從庫執行後臺管理和統計類查詢

(7) 有super許可權的應用程式賬號存在

(8) 廣活動或上線新功能必須提前通知DBA行流量評

(9) 不在業務高峰期批量更新、查詢資料庫


轉載自:

http://mp.weixin.qq.com/s?plg_nld=1&plg_uin=1&mid=207132223&idx=1&plg_nld=1&scene=22&plg_auth=1&__biz=MzA3MzYwNjQ3NA%3D%3D&plg_dev=1&srcid=11031H8kGQS39BOTBXDbsowL&plg_usr=1&plg_vkey=1&sn=f5d98146f28235d91fe3e675cead4ce5#rd