mysql 如何提高批量導入的速度
mysql 如何提高批量導入的速度
最近一個項目測試，有幾個mysql數據庫的表數據記錄達到了幾十萬條，在搭建測試環境 導入 測試數據時，十分慢。
在網上搜索了一下，有下面一些方法可以加快
mysql數據庫導入數據的速度：
0. 最快的當然是直接 copy 數據庫表的數據文件（版本和平臺最好要相同或相似）；
1. 設置 innodb_flush_log_at_trx_commit = 0 ，相對於 innodb_flush_log_at_trx_commit = 1 可以十分明顯的提升導入速度；
2. 使用 load data local infile 提速明顯；
3. 修改參數 bulk_insert_buffer_size， 調大批量插入的緩存；
5. 手動使用事物；
下面是UC的一篇相關博客文章：
http://tech.uc.cn/?p=634
MySQL批量SQL插入性能優化
對於一些數據量較大的系統，數據庫面臨的問題除了查詢效率低下，還有就是數據入庫時間長。特別像報表系統，每天花費在數據導入上的時間可能會長達幾個小時或十幾個小時之久。因此，優化數據庫插入性能是很有意義的。
經過對MySQL innodb的一些性能測試，發現一些可以提高insert效率的方法，供大家參考參考。
1. 一條SQL語句插入多條數據。
常用的插入語句如：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘1‘, ‘userid_1‘, ‘content_1‘, 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘0‘, ‘userid_0‘, ‘content_0‘, 0);
修改成：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘0‘, ‘userid_0‘, ‘content_0‘, 0), (‘1‘, ‘userid_1‘, ‘content_1‘, 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘0‘, ‘userid_0‘, ‘content_0‘, 0), (‘1‘, ‘userid_1‘, ‘content_1‘, 1);
修改後的插入操作能夠提高程序的插入效率。這裏第二種SQL執行效率高的主要原因是合並後日誌量（MySQL的binlog和innodb的事務讓日誌） 減少了，降低日誌刷盤的數據量和頻率，從而提高效率。通過合並SQL語句，同時也能減少SQL語句解析的次數，減少網絡傳輸的IO。
這裏提供一些測試對比數據，分別是進行單條數據的導入與轉化成一條SQL語句進行導入，分別測試1百、1千、1萬條數據記錄。
2. 在事務中進行插入處理。
把插入修改成：
START TRANSACTION;
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
VALUES (‘0‘, ‘userid_0‘, ‘content_0‘, 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
VALUES (‘1‘, ‘userid_1‘, ‘content_1‘, 1);
...
COMMIT;
START TRANSACTION;
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
VALUES (‘0‘, ‘userid_0‘, ‘content_0‘, 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
VALUES (‘1‘, ‘userid_1‘, ‘content_1‘, 1);
...COMMIT;
使用事務可以提高數據的插入效率，這是因為進行一個INSERT操作時，MySQL內部會建立一個事務，在事務內才進行真正插入處理操作。通過使用事務可以減少創建事務的消耗，所有插入都在執行後才進行提交操作。
這裏也提供了測試對比，分別是不使用事務與使用事務在記錄數為1百、1千、1萬的情況。
3. 數據有序插入。
數據有序的插入是指插入記錄在主鍵上是有序排列，例如datetime是記錄的主鍵：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘1‘, ‘userid_1‘, ‘content_1‘, 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘0‘, ‘userid_0‘, ‘content_0‘, 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘2‘, ‘userid_2‘, ‘content_2‘,2);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘1‘, ‘userid_1‘, ‘content_1‘, 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘0‘, ‘userid_0‘, ‘content_0‘, 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘2‘, ‘userid_2‘, ‘content_2‘,2);
修改成：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘0‘, ‘userid_0‘, ‘content_0‘, 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘1‘, ‘userid_1‘, ‘content_1‘, 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘2‘, ‘userid_2‘, ‘content_2‘,2);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘0‘, ‘userid_0‘, ‘content_0‘, 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘1‘, ‘userid_1‘, ‘content_1‘, 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (‘2‘, ‘userid_2‘, ‘content_2‘,2);
由於數據庫插入時，需要維護索引數據，無序的記錄會增大維護索引的成本。我們可以參照innodb使用的B+tree索引，如果每次插入記錄都在索引的最 後面，索引的定位效率很高，並且對索引調整較小；如果插入的記錄在索引中間，需要B+tree進行分裂合並等處理，會消耗比較多計算資源，並且插入記錄的 索引定位效率會下降，數據量較大時會有頻繁的磁盤操作。
下面提供隨機數據與順序數據的性能對比，分別是記錄為1百、1千、1萬、10萬、100萬。
從測試結果來看，該優化方法的性能有所提高，但是提高並不是很明顯。
性能綜合測試：
這裏提供了同時使用上面三種方法進行INSERT效率優化的測試。
從測試結果可以看到，合並數據+事務的方法在較小數據量時，性能提高是很明顯的，數據量較大時（1千萬以上），性能會急劇下降，這是由於此時數據量超過了 innodb_buffer的容量，每次定位索引涉及較多的磁盤讀寫操作，性能下降較快。而使用合並數據+事務+有序數據的方式在數據量達到千萬級以上表 現依舊是良好，在數據量較大時，有序數據索引定位較為方便，不需要頻繁對磁盤進行讀寫操作，所以可以維持較高的性能。
註意事項：
1. SQL語句是有長度限制，在進行數據合並在同一SQL中務必不能超過SQL長度限制，通過max_allowed_packet配置可以修改，默認是1M，測試時修改為8M。
2. 事務需要控制大小，事務太大可能會影響執行的效率。MySQL有innodb_log_buffer_size配置項，超過這個值會把innodb的數據刷到磁盤中，這時，效率會有所下降。所以比較好的做法是，在數據達到這個這個值前進行事務提交。
30多條mysql數據庫優化方法,千萬級數據庫記錄查詢輕松解決
1.對查詢進行優化，應盡量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。
2.應盡量避免在 where 子句中對字段進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，
Sql 代碼 : select id from t where num is null;
可以在 num 上設置默認值 0,確保表中 num 列沒有 null 值，然後這樣查詢：
Sql 代碼 : select id from t where num=0;
3.應盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。
4.應盡量避免在 where 子句中使用 or 來連接條件，否則將導致引擎放棄使用索引而進行全表掃描，
Sql 代碼 : select id from t where num=10 or num=20;
可以這樣查詢：
Sql 代碼 : select id from t where num=10 union all select id from t where num=20;
5.in 和 not in 也要慎用，否則會導致全表掃描，如：
Sql 代碼 : select id from t where num in(1,2,3);
對於連續的數值，能用 between 就不要用 in 了：
Sql 代碼 : select id from t where num between 1 and 3;
6.下面的查詢也將導致全表掃描：
Sql 代碼 : select id from t where name like ‘%c%‘;
若要提高效率，可以考慮全文檢索。
7.如果在 where 子句中使用參數，也會導致全表掃描。因為 SQL 只有在運行時才會解析局部變量，但優 化程序不能將訪問計劃的選擇推遲到運行時;它必須在編譯時進行選擇。然 而，如果在編譯時建立訪問計 劃，變量的值還是未知的，因而無法作為索引選擇的輸入項。如下面語句將進行全表掃描：
Sql 代碼 : select id from t where [email protected] ;
可以改為強制查詢使用索引：
Sql 代碼 : select id from t with(index(索引名)) where [email protected] ;
8.應盡量避免在 where 子句中對字段進行表達式操作， 這將導致引擎放棄使用索引而進行全表掃描。
Sql 代碼 : select id from t where num/2=100;
可以這樣查詢：
Sql 代碼 : select id from t where num=100*2;
9.應盡量避免在 where 子句中對字段進行函數操作，這將導致引擎放棄使用索引而進行全表掃描。如：
Sql 代碼 : select id from t where substring(name,1,3)=‘abc‘;#name 以 abc 開頭的 id
應改為：
Sql 代碼 : select id from t where name like ‘abc%‘;
10.不要在 where 子句中的“=”左邊進行函數、算術運算或其他表達式運算，否則系統將可能無法正確使用 索引。
11.在使用索引字段作為條件時，如果該索引是復合索引，那麽必須使用到該索引中的第一個字段作為條件 時才能保證系統使用該索引， 否則該索引將不會 被使用， 並且應盡可能的讓字段順序與索引順序相一致。
12.不要寫一些沒有意義的查詢，如需要生成一個空表結構：
Sql 代碼 : select col1,col2 into #t from t where 1=0;
這類代碼不會返回任何結果集，但是會消耗系統資源的，應改成這樣：
Sql 代碼 : create table #t(…);
13.很多時候用 exists 代替 in 是一個好的選擇：
Sql 代碼 : select num from a where num in(select num from b);
用下面的語句替換：
Sql 代碼 : select num from a where exists(select 1 from b where num=a.num);
14.並不是所有索引對查詢都有效，SQL 是根據表中數據來進行查詢優化的，當索引列有大量數據重復時， SQL 查詢可能不會去利用索引，如一表中有字段 ***,male、female 幾乎各一半，那麽即使在 *** 上建 了索引也對查詢效率起不了作用。
15.索引並不是越多越好，索引固然可以提高相應的 select 的效率，但同時也降低了 insert 及 update 的效率，因為 insert 或 update 時有可能會重建索引，所以怎樣建索引需要慎重考慮，視具體情況而定。一個表的索引數最好不要超過 6 個，若太多則應考慮一些不常使用到的列上建的索引是否有必要。
16.應盡可能的避免更新 clustered 索引數據列， 因為 clustered 索引數據列的順序就是表記錄的物理存儲順序，一旦該列值改變將導致整個表記錄的順序的調整，會耗費相當大的資源。若應用系統需要頻繁更新 clustered 索引數據列，那麽需要考慮是否應將該索引建為 clustered 索引。
17.盡量使用數字型字段，若只含數值信息的字段盡量不要設計為字符型，這會降低查詢和連接的性能，並 會增加存儲開銷。這是因為引擎在處理查詢和連接時會逐個比較字符串中每一個字符，而對於數字型而言 只需要比較一次就夠了。
18.盡可能的使用 varchar/nvarchar 代替 char/nchar , 因為首先變長字段存儲空間小， 可以節省存儲空間， 其次對於查詢來說，在一個相對較小的字段內搜索效率顯然要高些。
19.任何地方都不要使用 select * from t ,用具體的字段列表代替“*”,不要返回用不到的任何字段。
20.盡量使用表變量來代替臨時表。如果表變量包含大量數據，請註意索引非常有限(只有主鍵索引)。
21.避免頻繁創建和刪除臨時表，以減少系統表資源的消耗。
22.臨時表並不是不可使用，適當地使用它們可以使某些例程更有效，例如，當需要重復引用大型表或常用 表中的某個數據集時。但是，對於一次性事件， 最好使用導出表。
23.在新建臨時表時，如果一次性插入數據量很大，那麽可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果數據量不大，為了緩和系統表的資源，應先 create table,然後 insert.
24.如果使用到了臨時表， 在存儲過程的最後務必將所有的臨時表顯式刪除， 先 truncate table ,然後 drop table ,這樣可以避免系統表的較長時間鎖定。
25.盡量避免使用遊標，因為遊標的效率較差，如果遊標操作的數據超過 1 萬行，那麽就應該考慮改寫。
26.使用基於遊標的方法或臨時表方法之前，應先尋找基於集的解決方案來解決問題，基於集的方法通常更 有效。
27.與臨時表一樣，遊標並不是不可使用。對小型數據集使用 FAST_FORWARD 遊標通常要優於其他逐行處理方法，尤其是在必須引用幾個表才能獲得所需的數據時。在結果集中包括“合計”的例程通常要比使用遊標執行的速度快。如果開發時間允許，基於遊標的方法和基於集的方法都可以嘗試一下，看哪一種方法的效果更好。
28.在所有的存儲過程和觸發器的開始處設置 SET NOCOUNT ON ,在結束時設置 SET NOCOUNT OFF .無需在執行存儲過程和觸發器的每個語句後向客戶端發送 DONE_IN_PROC 消息。
29.盡量避免大事務操作，提高系統並發能力。 sql 優化方法使用索引來更快地遍歷表。 缺省情況下建立的索引是非群集索引，但有時它並不是最佳的。在非群集索引下，數據在物理上隨機存放在數據頁上。合理的索引設計要建立在對各種查詢的分析和預測上。一般來說：
a.有大量重復值、且經常有範圍查詢( > ,< ,> =,< =)和 order by、group by 發生的列，可考慮建立集群索引;
b.經常同時存取多列，且每列都含有重復值可考慮建立組合索引;
c.組合索引要盡量使關鍵查詢形成索引覆蓋，其前導列一定是使用最頻繁的列。索引雖有助於提高性能但 不是索引越多越好，恰好相反過多的索引會導致系統低效。用戶在表中每加進一個索引，維護索引集合就 要做相應的更新工作。
30.定期分析表和檢查表。
分析表的語法：ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name[, tbl_name]...
以上語句用於分析和存儲表的關鍵字分布，分析的結果將可以使得系統得到準確的統計信息，使得SQL能夠生成正確的執行計劃。如果用戶感覺實際執行計劃並不是預期的執行計劃，執行一次分析表可能會解決問題。在分析期間，使用一個讀取鎖定對表進行鎖定。這對於MyISAM，DBD和InnoDB表有作用。
例如分析一個數據表：analyze table table_name
檢查表的語法：CHECK TABLE tb1_name[,tbl_name]...[option]...option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}
檢查表的作用是檢查一個或多個表是否有錯誤，CHECK TABLE 對MyISAM 和 InnoDB表有作用，對於MyISAM表，關鍵字統計數據被更新
CHECK TABLE 也可以檢查視圖是否有錯誤，比如在視圖定義中被引用的表不存在。
31.定期優化表。
優化表的語法：OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name [,tbl_name]...
如果刪除了表的一大部分，或者如果已經對含有可變長度行的表(含有 VARCHAR、BLOB或TEXT列的表)進行更多更改，則應使用OPTIMIZE TABLE命令來進行表優化。這個命令可以將表中的空間碎片進行合並，並且可以消除由於刪除或者更新造成的空間浪費，但OPTIMIZE TABLE 命令只對MyISAM、 BDB 和InnoDB表起作用。
例如： optimize table table_name
註意： analyze、check、optimize執行期間將對表進行鎖定，因此一定註意要在MySQL數據庫不繁忙的時候執行相關的操作。
補充：
1、在海量查詢時盡量少用格式轉換。
2、ORDER BY 和 GROPU BY:使用 ORDER BY 和 GROUP BY 短語，任何一種索引都有助於 SELECT 的性能提高。
3、任何對列的操作都將導致表掃描，它包括數據庫教程函數、計算表達式等等，查詢時要盡可能將操作移 至等號右邊。
4、IN、OR 子句常會使用工作表，使索引失效。如果不產生大量重復值，可以考慮把子句拆開。拆開的子 句中應該包含索引。
5、只要能滿足你的需求，應盡可能使用更小的數據類型：例如使用 MEDIUMINT 代替 INT
6、盡量把所有的列設置為 NOT NULL,如果你要保存 NULL,手動去設置它，而不是把它設為默認值。
7、盡量少用 VARCHAR、TEXT、BLOB 類型
8、如果你的數據只有你所知的少量的幾個。最好使用 ENUM 類型
9、正如 graymice 所講的那樣，建立索引。
10、合理用運分表與分區表提高數據存放和提取速度。
mysql 如何提高批量導入的速度