Mysql插入很慢,找到了稍微快點的方法
MYSQL批量插入資料庫實現語句效能分析
假定我們的表結構如下
程式碼如下 | |
CREATE TABLE example ( |
通常情況下單條插入的sql語句我們會這麼寫:
程式碼如下 | |
INSERT INTO example |
mysql允許我們在一條sql語句中批量插入資料,如下sql語句:
程式碼如下 | |
INSERT INTO example |
如果我們插入列的順序和表中列的順序一致的話,還可以省去列名的定義,如下sql
程式碼如下 | |
INSERT INTO example |
上面看上去沒什麼問題,下面我來使用sql語句優化的小技巧,下面會分別進行測試,目標是插入一個空的資料表200W條資料
第一種方法:使用insert into 插入,程式碼如下:
程式碼如下 | |
|
最後顯示為:23:25:05 01:32:05 也就是花了2個小時多!
第二種方法:使用事務提交,批量插入資料庫(每隔10W條提交下)最後顯示消耗的時間為:22:56:13 23:04:00 ,一共8分13秒 ,程式碼如下:
程式碼如下 | |
echo date("H:i:s"); |
第三種方法:使用優化SQL語句:將SQL語句進行拼接,使用 insert into table () values (),(),(),()然後再一次性插入,如果字串太長,
則需要配置下MYSQL,在mysql 命令列中執行 :set global max_allowed_packet = 2*1024*1024*10;消耗時間為:11:24:06 11:25:06;
插入200W條測試資料僅僅用了1分鐘!程式碼如下:
程式碼如下 | |
$sql= "insert into twenty_million (value) values"; |
最後總結下,在插入大批量資料時,第一種方法無疑是最差勁的,而第二種方法在實際應用中就比較廣泛,第三種方法在插入測試資料或者其他低要求時比較合適,速度確實快。