Mysql性能調優方法
第一種方法
1、選取最適用的字段屬性
MySQL可以很好的支持大數據量的存取，但是一般說來，數據庫中的表越小，在它上面執行的查詢也就會越快。因此，在創建表的時候，為了獲得更好的 性能，我們可以將表中字段的寬度設得盡可能小。例如，在定義郵政編碼這個字段時，如果將其設置為CHAR(255),顯然給數據庫增加了不必要的空間，甚 至使用VARCHAR這種類型也是多余的，因為CHAR(6)就可以很好的完成任務了。同樣的，如果可以的話，我們應該使用MEDIUMINT而不是 BIGIN來定義整型字段。
另外一個提高效率的方法是在可能的情況下，應該盡量把字段設置為NOT NULL，這樣在將來執行查詢的時候，數據庫不用去比較NULL值。
對於某些文本字段，例如“省份”或者“性別”，我們可以將它們定義為ENUM類型。因為在MySQL中，ENUM類型被當作數值型數據來處理，而數值型數據被處理起來的速度要比文本類型快得多。這樣，我們又可以提高數據庫的性能。
2、使用連接(JOIN)來代替子查詢(Sub-Queries)
MySQL從4.1開始支持SQL的子查詢。這個技術可以使用SELECT語句來創建一個單列的查詢結果，然後把這個結果作為過濾條件用在另一個查 詢中。例如，我們要將客戶基本信息表中沒有任何訂單的客戶刪除掉，就可以利用子查詢先從銷售信息表中將所有發出訂單的客戶ID取出來，然後將結果傳遞給主 查詢，如下所示：
|
DELETE FROM customerinfo |
使用子查詢可以一次性的完成很多邏輯上需要多個步驟才能完成的SQL操作，同時也可以避免事務或者表鎖死，並且寫起來也很容易。但是，有些情況下， 子查詢可以被更有效率的連接(JOIN).. 替代。例如，假設我們要將所有沒有訂單記錄的用戶取出來，可以用下面這個查詢完成：
|
SELECT * FROM customerinfo |
如果使用連接(JOIN).. 來完成這個查詢工作，速度將會快很多。尤其是當salesinfo表中對CustomerID建有索引的話，性能將會更好，查詢如下：
|
SELECT * FROM customerinfo |
連接(JOIN).. 之所以更有效率一些，是因為 MySQL不需要在內存中創建臨時表來完成這個邏輯上的需要兩個步驟的查詢工作。
3、使用聯合(UNION)來代替手動創建的臨時表
MySQL 從 4.0 的版本開始支持 UNION 查詢，它可以把需要使用臨時表的兩條或更多的 SELECT 查詢合並的一個查詢中。在客戶端的查詢會話結束的時候，臨時表會被自動刪除，從而保證數據庫整齊、高效。使用 UNION 來創建查詢的時候，我們只需要用 UNION作為關鍵字把多個 SELECT 語句連接起來就可以了，要註意的是所有 SELECT 語句中的字段數目要想同。下面的例子就演示了一個使用 UNION的查詢。
|
SELECT Name, Phone FROM client |
4、事務
盡管我們可以使用子查詢(Sub-Queries)、連接(JOIN)和聯合(UNION)來創建各種各樣的查詢，但不是所有的數據庫操作都可以只 用一條或少數幾條SQL語句就可以完成的。更多的時候是需要用到一系列的語句來完成某種工作。但是在這種情況下，當這個語句塊中的某一條語句運行出錯的時 候，整個語句塊的操作就會變得不確定起來。設想一下，要把某個數據同時插入兩個相關聯的表中，可能會出現這樣的情況：第一個表中成功更新後，數據庫突然出 現意外狀況，造成第二個表中的操作沒有完成，這樣，就會造成數據的不完整，甚至會破壞數據庫中的數據。要避免這種情況，就應該使用事務，它的作用是：要麽 語句塊中每條語句都操作成功，要麽都失敗。換句話說，就是可以保持數據庫中數據的一致性和完整性。事物以BEGIN 關鍵字開始，COMMIT關鍵字結束。在這之間的一條SQL操作失敗，那麽，ROLLBACK命令就可以把數據庫恢復到BEGIN開始之前的狀態。
|
BEGIN; |
事務的另一個重要作用是當多個用戶同時使用相同的數據源時，它可以利用鎖定數據庫的方法來為用戶提供一種安全的訪問方式，這樣可以保證用戶的操作不被其它的用戶所幹擾。
5、鎖定表
盡管事務是維護數據庫完整性的一個非常好的方法，但卻因為它的獨占性，有時會影響數據庫的性能，尤其是在很大的應用系統中。由於在事務執行的過程 中，數據庫將會被鎖定，因此其它的用戶請求只能暫時等待直到該事務結束。如果一個數據庫系統只有少數幾個用戶來使用，事務造成的影響不會成為一個太大的問 題;但假設有成千上萬的用戶同時訪問一個數據庫系統，例如訪問一個電子商務網站，就會產生比較嚴重的響應延遲。
其實，有些情況下我們可以通過鎖定表的方法來獲得更好的性能。下面的例子就用鎖定表的方法來完成前面一個例子中事務的功能。
|
LOCK TABLE inventory WRITE |
這裏，我們用一個 SELECT 語句取出初始數據，通過一些計算，用 UPDATE 語句將新值更新到表中。包含有 WRITE 關鍵字的 LOCK TABLE 語句可以保證在 UNLOCK TABLES 命令被執行之前，不會有其它的訪問來對 inventory 進行插入、更新或者刪除的操作。
6、使用外鍵
鎖定表的方法可以維護數據的完整性，但是它卻不能保證數據的關聯性。這個時候我們就可以使用外鍵。例如，外鍵可以保證每一條銷售記錄都指向某一個存 在的客戶。在這裏，外鍵可以把customerinfo 表中的CustomerID映射到salesinfo表中CustomerID，任何一條沒有合法CustomerID的記錄都不會被更新或插入到 salesinfo中。
|
CREATE TABLE customerinfo CREATE TABLE salesinfo |
註意例子中的參數“ON DELETE CASCADE”。該參數保證當 customerinfo 表中的一條客戶記錄被刪除的時候，salesinfo 表中所有與該客戶相關的記錄也會被自動刪除。如果要在 MySQL 中使用外鍵，一定要記住在創建表的時候將表的類型定義為事務安全表 InnoDB類型。該類型不是 MySQL 表的默認類型。定義的方法是在 CREATE TABLE 語句中加上 TYPE=INNODB。如例中所示。
7、使用索引
索引是提高數據庫性能的常用方法，它可以令數據庫服務器以比沒有索引快得多的速度檢索特定的行，尤其是在查詢語句當中包含有MAX(), MIN()和ORDERBY這些命令的時候，性能提高更為明顯。那該對哪些字段建立索引呢?一般說來，索引應建立在那些將用於JOIN, WHERE判斷和ORDER BY排序的字段上。盡量不要對數據庫中某個含有大量重復的值的字段建立索引。對於一個ENUM類型的字段來說，出現大量重復值是很有可能的情況，例如 customerinfo中的“province”.. 字段，在這樣的字段上建立索引將不會有什麽幫助;相反，還有可能降低數據庫的性能。我們在創建表的時候可以同時創建合適的索引，也可以使用ALTER TABLE或CREATE INDEX在以後創建索引。此外，MySQL
從版本3.23.23開始支持全文索引和搜索。全文索引在MySQL 中是一個FULLTEXT類型索引，但僅能用於MyISAM 類型的表。對於一個大的數據庫，將數據裝載到一個沒有FULLTEXT索引的表中，然後再使用ALTER TABLE或CREATE INDEX創建索引，將是非常快的。但如果將數據裝載到一個已經有FULLTEXT索引的表中，執行過程將會非常慢。
8、優化的查詢語句
絕大多數情況下，使用索引可以提高查詢的速度，但如果SQL語句使用不恰當的話，索引將無法發揮它應有的作用。下面是應該註意的幾個方面。首先，最 好是在相同類型的字段間進行比較的操作。在MySQL 3.23版之前，這甚至是一個必須的條件。例如不能將一個建有索引的INT字段和BIGINT字段進行比較;但是作為特殊的情況，在CHAR類型的字段和 VARCHAR類型字段的字段大小相同的時候，可以將它們進行比較。其次，在建有索引的字段上盡量不要使用函數進行操作。
例如，在一個DATE類型的字段上使用YEAE()函數時，將會使索引不能發揮應有的作用。所以，下面的兩個查詢雖然返回的結果一樣，但後者要比前者快得多。
|
SELECT * FROM order WHERE YEAR(OrderDate)<2001; |
同樣的情形也會發生在對數值型字段進行計算的時候：
|
SELECT * FROM inventory WHERE Amount/7<24; |
上面的兩個查詢也是返回相同的結果，但後面的查詢將比前面的一個快很多。第三，在搜索字符型字段時，我們有時會使用 LIKE 關鍵字和通配符，這種做法雖然簡單，但卻也是以犧牲系統性能為代價的。例如下面的查詢將會比較表中的每一條記錄。
|
SELECT * FROM books |
但是如果換用下面的查詢，返回的結果一樣，但速度就要快上很多：
|
SELECT * FROM books |
最後，應該註意避免在查詢中讓MySQL進行自動類型轉換，因為轉換過程也會使索引變得不起作用。
第二種方法
1、創建索引
對於查詢占主要的應用來說，索引顯得尤為重要。很多時候性能問題很簡單的就是因為我們忘了添加索 引而造成的，或者說沒有添加更為有效的索引導致。如果不加索引的話，那麽查找任何哪怕只是一條特定的數據都會進行一次全表掃描，如果一張表的數據量很大而 符合條件的結果又很少，那麽不加索引會引起致命的性能下降。但是也不是什麽情況都非得建索引不可，比如性別可能就只有兩個值，建索引不僅沒什麽優勢，還會 影響到更新速度，這被稱為過度索引。
2、復合索引
比如有一條語句是這樣的：select * from users where area=‘beijing‘ and age=22;
如 果我們是在area和age上分別創建單個索引的話，由於mysql查詢每次只能使用一個索引，所以雖然這樣已經相對不做索引時全表掃描提高了很多效率， 但是如果在area、age兩列上創建復合索引的話將帶來更高的效率。如果我們創建了(area, age, salary)的復合索引，那麽其實相當於創建了(area,age,salary)、(area,age)、(area)三個索引，這被稱為最佳左前綴 特性。因此我們在創建復合索引時應該將最常用作限制條件的列放在最左邊，依次遞減。
3、索引不會包含有NULL值的列
只要列中包含有NULL值都將不會被包含在索引中，復合索引中只要有一列含有NULL值，那麽這一列對於此復合索引就是無效的。所以我們在數據庫設計時不要讓字段的默認值為NULL。
4、使用短索引
對串列進行索引，如果可能應該指定一個前綴長度。例如，如果有一個CHAR(255)的 列，如果在前10 個或20 個字符內，多數值是惟一的，那麽就不要對整個列進行索引。短索引不僅可以提高查詢速度而且可以節省磁盤空間和I/O操作。
5、排序的索引問題
mysql查詢只使用一個索引，因此如果where子句中已經使用了索引的話，那麽order by中的列是不會使用索引的。因此數據庫默認排序可以符合要求的情況下不要使用排序操作；盡量不要包含多個列的排序，如果需要最好給這些列創建復合索引。
6、like語句操作
一般情況下不鼓勵使用like操作，如果非使用不可，如何使用也是一個問題。like “%aaa%” 不會使用索引而like “aaa%”可以使用索引。
7、不要在列上進行運算
select * from users where YEAR(adddate)<2007;
將在每個行上進行運算，這將導致索引失效而進行全表掃描，因此我們可以改成
select * from users where adddate<‘2007-01-01‘;
8、不使用NOT IN和<>操作
NOT IN和<>操作都不會使用索引將進行全表掃描。NOT IN可以NOT EXISTS代替，id<>3則可使用id>3 or id<3來代替。
第三種方法
MYSQL 應該是最流行了 WEB 後端數據庫。WEB 開發語言最近發展很快，PHP， Ruby, Python, Java 各有特點，雖然 NOSQL 最近越來越多的被提到，但是相信大部分架構師還是會選擇 MYSQL 來做數據存儲。
MYSQL 如此方便和穩定，以至於我們在開發 WEB 程序的時候很少想到它。即使想到優化也是程序級別的，比如，不要寫過於消耗資源的 SQL 語句。但是除此之外，在整個系統上仍然有很多可以優化的地方。
1. 選擇合適的存儲引擎: InnoDB
除非你的數據表使用來做只讀或者全文檢索 (相信現在提到全文檢索，沒人會用 MYSQL 了)，你應該默認選擇 InnoDB 。
你自己在測試的時候可能會發現 MyISAM 比 InnoDB 速度快，這是因為： MyISAM 只緩存索引，而 InnoDB 緩存數據和索引，MyISAM 不支持事務。但是 如果你使用 innodb_flush_log_at_trx_commit = 2 可以獲得接近的讀取性能 (相差百倍) 。
1.1 如何將現有的 MyISAM 數據庫轉換為 InnoDB:
復制代碼 代碼如下: mysql -u [USER_NAME] -p -e "SHOW TABLES IN [DATABASE_NAME];" | tail -n +2 | xargs -I ‘{}‘ echo "ALTER TABLE {} ENGINE=InnoDB;" > alter_table.sqlperl -p -i -e ‘s/(search_[a-z_]+ ENGINE=)InnoDB//1MyISAM/g‘ alter_table.sql
mysql -u [USER_NAME] -p [DATABASE_NAME] < alter_table.sql
1.2 為每個表分別創建 InnoDB FILE：
復制代碼 代碼如下: innodb_file_per_table=1這樣可以保證 ibdata1 文件不會過大，失去控制。尤其是在執行 mysqlcheck -o –all-databases 的時候。
2. 保證從內存中讀取數據，講數據保存在內存中
2.1 足夠大的 innodb_buffer_pool_size
推薦將數據完全保存在 innodb_buffer_pool_size ，即按存儲量規劃 innodb_buffer_pool_size 的容量。這樣你可以完全從內存中讀取數據，最大限度減少磁盤操作。
2.1.1 如何確定 innodb_buffer_pool_size 足夠大，數據是從內存讀取而不是硬盤？
方法 1
| 1 2 3 4 5 6 7 8 9 10 11 12 |
mysql> SHOW GLOBAL STATUS LIKE ‘innodb_buffer_pool_pages_%‘;
+----------------------------------+--------+
| Variable_name | Value |
+----------------------------------+--------+
| Innodb_buffer_pool_pages_data | 129037 |
| Innodb_buffer_pool_pages_dirty | 362 |
| Innodb_buffer_pool_pages_flushed | 9998 |
| Innodb_buffer_pool_pages_free | 0 | !!!!!!!!
| Innodb_buffer_pool_pages_misc | 2035 |
| Innodb_buffer_pool_pages_total | 131072 |
+----------------------------------+--------+
6 rows in set (0.00 sec)
|
發現 Innodb_buffer_pool_pages_free 為 0，則說明 buffer pool 已經被用光，需要增大 innodb_buffer_pool_size
InnoDB 的其他幾個參數：
復制代碼 代碼如下: innodb_additional_mem_pool_size = 1/200 of buffer_poolinnodb_max_dirty_pages_pct 80%
方法 2
或者用iostat -d -x -k 1 命令，查看硬盤的操作。
2.1.2 服務器上是否有足夠內存用來規劃
執行 echo 1 > /proc/sys/vm/drop_caches 清除操作系統的文件緩存，可以看到真正的內存使用量。
2.2 數據預熱
默認情況，只有某條數據被讀取一次，才會緩存在 innodb_buffer_pool。所以，數據庫剛剛啟動，需要進行數據預熱，將磁盤上的所有數據緩存到內存中。數據預熱可以提高讀取速度。
對於 InnoDB 數據庫，可以用以下方法，進行數據預熱:
1. 將以下腳本保存為 MakeSelectQueriesToLoad.sql
?| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
SELECT DISTINCT
CONCAT(‘SELECT ‘,ndxcollist,‘ FROM ‘,db,‘.‘,tb,
‘ ORDER BY ‘,ndxcollist,‘;‘) SelectQueryToLoadCache
FROM
(
SELECT
engine,table_schema db,table_name tb,
index_name,GROUP_CONCAT(column_name ORDER BY seq_in_index) ndxcollist
FROM
(
SELECT
B.engine,A.table_schema,A.table_name,
A.index_name,A.column_name,A.seq_in_index
FROM
information_schema.statistics A INNER JOIN
(
SELECT engine,table_schema,table_name
FROM information_schema.tables WHERE
engine=‘InnoDB‘
) B USING (table_schema,table_name)
WHERE B.table_schema NOT IN (‘information_schema‘,‘mysql‘)
ORDER BY table_schema,table_name,index_name,seq_in_index
) A
GROUP BY table_schema,table_name,index_name
) AA
ORDER BY db,tb
;
|
2. 執行
復制代碼 代碼如下: mysql -uroot -AN < /root/MakeSelectQueriesToLoad.sql > /root/SelectQueriesToLoad.sql
3. 每次重啟數據庫，或者整庫備份前需要預熱的時候執行：
mysql -uroot < /root/SelectQueriesToLoad.sql > /dev/null 2>&1
2.3 不要讓數據存到 SWAP 中
如果是專用 MYSQL 服務器，可以禁用 SWAP，如果是共享服務器，確定 innodb_buffer_pool_size 足夠大。或者使用固定的內存空間做緩存，使用 memlock 指令。
3. 定期優化重建數據庫
mysqlcheck -o –all-databases 會讓 ibdata1 不斷增大，真正的優化只有重建數據表結構：
?| 1 2 3 4 5 |
CREATE TABLE mydb.mytablenew LIKE mydb.mytable;
INSERT INTO mydb.mytablenew SELECT * FROM mydb.mytable;
ALTER TABLE mydb.mytable RENAME mydb.mytablezap;
ALTER TABLE mydb.mytablenew RENAME mydb.mytable;
DROP TABLE mydb.mytablezap;
|
4. 減少磁盤寫入操作
4.1 使用足夠大的寫入緩存 innodb_log_file_size
但是需要註意如果用 1G 的 innodb_log_file_size ，假如服務器當機，需要 10 分鐘來恢復。
推薦 innodb_log_file_size 設置為 0.25 * innodb_buffer_pool_size
4.2 innodb_flush_log_at_trx_commit
這個選項和寫磁盤操作密切相關：
innodb_flush_log_at_trx_commit = 1 則每次修改寫入磁盤
innodb_flush_log_at_trx_commit = 0/2 每秒寫入磁盤
如果你的應用不涉及很高的安全性 (金融系統)，或者基礎架構足夠安全，或者 事務都很小，都可以用 0 或者 2 來降低磁盤操作。
4.3 避免雙寫入緩沖
復制代碼 代碼如下: innodb_flush_method=O_DIRECT
5. 提高磁盤讀寫速度
RAID0 尤其是在使用 EC2 這種虛擬磁盤 (EBS) 的時候，使用軟 RAID0 非常重要。
6. 充分使用索引
6.1 查看現有表結構和索引
復制代碼 代碼如下: SHOW CREATE TABLE db1.tb1/G6.2 添加必要的索引
索引是提高查詢速度的唯一方法，比如搜索引擎用的倒排索引是一樣的原理。
索引的添加需要根據查詢來確定，比如通過慢查詢日誌或者查詢日誌,或者通過 EXPLAIN 命令分析查詢。
復制代碼 代碼如下: ADD UNIQUE INDEXADD INDEX
6.2.1 比如，優化用戶驗證表：
添加索引
ALTER TABLE users ADD UNIQUE INDEX username_password_ndx (username,password);
每次重啟服務器進行數據預熱
復制代碼 代碼如下: echo “select username,password from users;” > /var/lib/mysql/upcache.sql
添加啟動腳本到 my.cnf
復制代碼 代碼如下: [mysqld]init-file=/var/lib/mysql/upcache.sql
6.2.2 使用自動加索引的框架或者自動拆分表結構的框架
比如，Rails 這樣的框架，會自動添加索引，Drupal 這樣的框架會自動拆分表結構。會在你開發的初期指明正確的方向。所以，經驗不太豐富的人一開始就追求從 0 開始構建，實際是不好的做法。
7. 分析查詢日誌和慢查詢日誌
記錄所有查詢，這在用 ORM 系統或者生成查詢語句的系統很有用。
復制代碼 代碼如下: log=/var/log/mysql.log註意不要在生產環境用，否則會占滿你的磁盤空間。
記錄執行時間超過 1 秒的查詢：
復制代碼 代碼如下: long_query_time=1log-slow-queries=/var/log/mysql/log-slow-queries.log
8. 激進的方法，使用內存磁盤
現在基礎設施的可靠性已經非常高了，比如 EC2 幾乎不用擔心服務器硬件當機。而且內存實在是便宜，很容易買到幾十G內存的服務器，可以用內存磁盤，定期備份到磁盤。
將 MYSQL 目錄遷移到 4G 的內存磁盤
?| 1 2 3 4 5 |
mkdir -p /mnt/ramdisk
sudo mount -t tmpfs -o size=4000M tmpfs /mnt/ramdisk/
mv /var/lib/mysql /mnt/ramdisk/mysql
ln -s /tmp/ramdisk/mysql /var/lib/mysql
chown mysql:mysql mysql
|
9. 用 NOSQL 的方式使用 MYSQL
B-TREE 仍然是最高效的索引之一，所有 MYSQL 仍然不會過時。
用 HandlerSocket 跳過 MYSQL 的 SQL 解析層，MYSQL 就真正變成了 NOSQL。
10. 其他
單條查詢最後增加 LIMIT 1，停止全表掃描。
將非”索引”數據分離，比如將大篇文章分離存儲，不影響其他自動查詢。
不用 MYSQL 內置的函數，因為內置函數不會建立查詢緩存。
PHP 的建立連接速度非常快，所有可以不用連接池，否則可能會造成超過連接數。當然不用連接池 PHP 程序也可能將
連接數占滿比如用了 @ignore_user_abort(TRUE);
使用 IP 而不是域名做數據庫路徑，避免 DNS 解析問題
Mysql性能調優方法