1. 程式人生 > >MySQL 提高Insert效能

MySQL 提高Insert效能

插入一個記錄需要的時間由下列因素組成,其中的數字表示大約比例:

  • 連線:(3)
  • 傳送查詢給伺服器:(2)
  • 分析查詢:(2)
  • 插入記錄:(1x記錄大小)
  • 插入索引:(1x索引)
  • 關閉:(1)

這不考慮開啟表的初始開銷,每個併發執行的查詢開啟。

表的大小以logN (B樹)的速度減慢索引的插入。

加快插入的一些方法:

  • 如果同時從同一個客戶端插入很多行,使用含多個VALUE的INSERT語句同時插入幾行。這比使用單行INSERT語句快(在某些情況下快幾倍)。如果你正向一個非空表新增資料,可以調節bulk_insert_buffer_size變數,使資料插入更快。
  • 如果你從不同的客戶端插入很多行,能通過INSERT DELAYED語句加快速度。
  • 用MyISAM,如果在表中沒有刪除的行,能在SELECT語句正在執行的同時插入行。
  • 當從一個文字檔案裝載一個表時,使用LOAD DATA INFILE。這通常比使用很多INSERT語句快20倍。
  • 當表有很多索引時,有可能要多做些工作使得LOAD DATA INFILE更快些。使用下列過程:
有選擇地用CREATE TABLE建立表。 
執行FLUSH TABLES語句或命令mysqladmin flush-tables。 
使用myisamchk --keys-used=0 -rq /path/to/db/tbl_name。這將從表中取消所有索引的使用。 
用LOAD DATA INFILE把資料插入到表中,因為不更新任何索引,因此很快。 如果只想在以後讀取表,使用myisampack壓縮它。參見15.1.3.3節,“壓縮表特性”。 用myisamchk -r -q /path/to/db/tbl_name重新建立索引。這將在寫入磁碟前在記憶體中建立索引樹,並且它更快,因為避免了大量磁碟搜尋。結果索引樹也被完美地平衡。 執行FLUSH TABLES語句或mysqladmin flush-tables命令。
  • 鎖定表可以加速用多個語句執行的INSERT操作

這樣效能會提高,因為索引快取區僅在所有INSERT語句完成後重新整理到磁碟上一次。一般有多少INSERT語句即有多少索引快取區重新整理。如果能用一個語句插入所有的行,就不需要鎖定。對於事務表,應使用BEGIN和COMMIT代替LOCK TABLES來加快插入。

INSERT、UPDATE和DELETE操作在MySQL中是很快的,通過為在一行中多於大約5次連續不斷地插入或更新的操作加鎖,可以獲得更好的整體效能。如果在一行中進行多次插入,可以執行LOCK TABLES,隨後立即執行UNLOCK TABLES(大約每1000行)以允許其它的執行緒訪問表。這也會獲得好的效能。

--鎖表
LOCK TABLES `order` WRITE;
--禁用鍵
ALTER TABLE `order` DISABLE KEYS ;
--插入資料
INSERT INTO `order` VALUES (1,11,'UPDATED');
INSERT INTO `order` VALUES (2,11,'UPDATED');
--啟用鍵
ALTER TABLE `order` ENABLE KEYS;

--解鎖表
UNLOCK TABLES;
  •  為了對LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度,通過增加key_buffer_size系統變數來擴大 鍵高速緩衝區

相關推薦

MySQL 提高Insert效能

插入一個記錄需要的時間由下列因素組成,其中的數字表示大約比例: 連線:(3) 傳送查詢給伺服器:(2) 分析查詢:(2) 插入記錄:(1x記錄大小) 插入索引:(1x索引) 關閉:(1) 這不考慮開啟表的初始開銷,每個併發執行的查詢開啟。 表的大小以logN (B樹)的速度減慢索引的插

初入職常見問題:MySQL提高insert效率的方法

對於一些資料量較大的系統,資料庫面臨的問題除了查詢效率低下,還有就是資料入庫時間長。特別像報表系統,每天花費在資料匯入上的時間可能會長達幾個小時或十幾個小時之久。因此,優化資料庫插入效能是很有意義的。 經過對MySQL InnoDB的一些效能測試,發現一些可以提高insert效率的方法,供大家參

教你如何調整Mysqlinsert、update、delete的順序來以提高效率

MySQL還允許改變語句排程的優先順序,它可以使來自多個客戶端的查詢更好地協作,這樣單個客戶端就不會由於鎖定而等待很長時間。改變優先順序還可以確保特定型別的查詢被處理得更快。我們首先應該確定應用的型別,判斷應用是以查詢為主還是以更新為主的,是確保查詢效率還是確保更新的效率,

mysql使用偽Hash索引提高查詢效能

       我們知道 Mysql 預設引擎是 InnoDB 引擎,而 InnoDB 支援的索引型別為 B-tree 型別,如果對資料表有一個根據長字元查詢的sql,使用 B-tree 索引在大資料量的情況下將會導致效能低下,然而 InnoDB 不支援Hash索引,不過我們可

Mybatis之MySql批量insert後返回主鍵

app bsp long 需求 values ram value tis pub 需求:使用批量插入後,需要insert之後的每一條記錄的ID 註意:Mybatis3.3.1的版本以後支持批量插入後返回主鍵ID 示例: domin.java: public class U

ON DUPLICATE KEY UPDATE在mysqlINSERT語句中用法

1、如果在INSERT語句後面帶上ON DUPLICATE KEY UPDATE 子句,而要插入的行與表中現有記錄的惟一索引或主鍵中產生重複值,那麼就會發生舊行的更新; 2、如果插入的行資料與現有表中記錄的唯一索引或者主鍵****不重複,則執行新紀錄插入操作。 示例: creat

提高網站效能的常見方法

一.Web前端效能優化 一般來說Web前端指網站業務邏輯之前的部分,包括瀏覽器載入,網站檢視模型,圖片服務,CDN服務等,主要優化手段有優化瀏覽器訪問,使用反向代理,CDN等。 1..瀏覽器訪問優化 (1)減少http請求 HTTP協議是無狀態的應用層協議,意味著每次HTTP請求都需要簡歷通訊鏈路,

MySQL資料庫】效能優化之索引及優化(一)

一、Mysql效能優化之影響效能的因素 1.商業需求的影響 不合理的需求造成的資源投入產出,這裡就用一個看上去很簡單的功能分析。需求:一個論壇帖子的總量統計,附加要求:實時更新。從功能上看來是非常容易實現的,執行一條select count(*)from表名就可以得到結果,但是如果我們採

用pt-stalk定位MySQL短暫的效能問題

【背景】 MySQL出現短暫的3-30秒的效能問題,一般的監控工具較難抓到現場,很難準確定位問題原因。 對於這類需求,我們日常的MySQL分析工具都有些不足的地方: 1、 效能監控工具,目前粒度是分鐘級,無法反應秒級的效能波動; 2、 MySQL Performance_schema工具採集是3秒落地

機器學習實戰——利用AdaBoost元演算法提高分類效能 實現記錄

問題:TypeError: __new__() takes from 2 to 4 positional arguments but 6 were given def loadSimpData(): datMat = matrix([1. ,2.1],

提高網頁效能優化

  1.多采用雪碧圖   將很多圖片合成一張圖片,需要多次請求,只需要一次就請求過來了,減少向伺服器的請求次數   2.阻止超連結的預設行為     點選超連結,會向後臺傳送請求,重新整理頁面,所以要以<a href="javascript:;"></a>&n

利用AdaBoost元演算法提高分類效能

一、元演算法 元演算法是對其他演算法進行組合的一種方式。我們自然可以將不同的分類器組合起來,而這種組合結果則被稱為整合演算法或者元演算法。 整合學習的結果通過投票法產生,即“少數服從多數” 從這個例子中得出:要獲得好的整合,個體學習器應“好而不同”,即個體學習器要有一定的“準確性”,即

通過多執行緒處理提高Redis效能

Redis通常被稱為單程序單執行緒模型。 這不是真的! Redis還執行多個後端執行緒來執行後端清理工作,例如清理髒資料和關閉檔案描述符。在Redis中,主執行緒負責主要任務,包括但不限於:接收來自客戶端的連線,處理連線讀/寫事件,解析請求,處理命令,處理定時器事件和同步資料。只有一個CPU核心執行單個程

PG copy&insert效能對比

目錄   測試環境 表結構 CASE1 結果 CASE 2 結果 CASE 3 結果 TPS修正 CASE 4 結果 結論 測試環境 Intel(R) Core(TM) i7-4790 CPU @ 3.60GHz 32G

關於MYSQL進行insert操作時,存在則更新不存在則插入的解決辦法

在專案開發中經常會遇到資料頻發插入操作且需要進行判斷,這樣會業務層多一次判斷的操作,多請求一次資料庫,造成效能問題,所以採用以下辦法解決了這個令人藍瘦的問題。。。 這裡是一個使用者運動記錄表,記錄使用者每天的運動時間,走的路程,消耗的能量和走的步數,前臺是定時一分鐘向後臺傳送

MySQL主從複製效能優化

MySQL的主從複製的基本原理是從庫連線到主庫,主庫生成一個主庫DUMP執行緒,該DUMP執行緒的主要任務是一直挖掘binlog日誌,然後傳送到從庫的IO執行緒,IO執行緒接收到日誌流後,寫入relay log,另一個線程SQL執行緒,會讀取該relay log內容,然後對sql語句進行重放. 主庫DUMP

mysql資料庫執行效能檢查指令碼

只針對mysql 5.6.8以上版本select version();use information_schema;#查詢所有資料庫引數show VARIABLES;#查詢資料庫最大連線數show variables like '%max_connections%';#查詢當前資料庫連線數show full

MySQLINSERT的一般用法

1用法 在標準的SQL語句中,一次插入一條記錄的INSERT語句只有一種形式。 INSERT INTO tablename(列名…) VALUES(列值); 而在MySQL中還有另外一種形式。 INSERT INTO tablename SET column_name

mysql&redis效能測試

測試環境 機器: Redis: Redis server v=3.0.5 sha=00000000:0 malloc=libc bits=64 build=3145a5e1a81fd3f7 Mysql: Server version: 5.7.9 Homebrew 提示:以下測

提高C++效能的程式設計技術筆記:多執行緒記憶體池+測試程式碼

為了使多個執行緒併發地分配和釋放記憶體,必須在分配器方法中新增互斥鎖。 全域性記憶體管理器(通過new()和delete()實現)是通用的,因此它的開銷也非常大。 因為單執行緒記憶體管理器要比多執行緒記憶體管理器快的多,所以如果要分配的大多數記憶體塊限於單執行緒中使用,那麼可以顯著提升效