踩坑經歷(十五)SQL優化利器——記憶體表
阿新 • • 發佈:2018-12-29
臨時表與記憶體表
記憶體表,就是放在記憶體中的表,所使用記憶體的大小可通過My.cnf中的max_heap_table_size指定,如max_heap_table_size=1024M。
記憶體表與臨時表並不相同,臨時表也是存放在記憶體中,臨時表最大所需記憶體需要通過tmp_table_size = 128M設定。當資料超過臨時表的最大值設定時,自動轉為磁碟表,此時因需要進行IO操作,效能會大大下降,而記憶體表不會,記憶體表滿後,會提示資料滿錯誤。
建立記憶體表
create table test ( id int unsigned not null auto_increment primary key, state char(10), type char(20), date char(30) )ENGINE=MEMORY DEFAULT CHARSET=utf8;
記憶體表特性
- 記憶體表的表定義是存放在磁碟上的,副檔名為.frm, 所以重啟不會丟失。
- 記憶體表的資料是存放在記憶體中的,所以重啟會丟失資料。
- 記憶體表使用一個固定的記錄長度格式。
- 記憶體表不支援BLOB或TEXT列,比如varchar與text欄位就不會被支援。
- 記憶體表支援AUTO_INCREMENT列和對可包含NULL值的列的索引(網上大多說不支援,這是錯誤的)。記憶體表支援大於(>) 小於( <)操作,網上也說不支援。
- mysql重啟後,主鍵、自增、索引仍然存在,只是資料丟失。這也是對網上的一些錯誤文字糾正。
- 記憶體表表在所有客戶端之間共享(就像其它任何非TEMPORARY表)。
- MEMORY儲存引擎執行HASH和BTREE索引。你可以通過新增一個如下所示的USING子句為給定的索引指定一個或另一個。
記憶體表的使用
記憶體表使用雜湊雜湊索引把資料儲存在記憶體中,因此具有極快的速度,適合快取中小型資料庫,但是使用上受到一些限制。
- heap對所有使用者的連線是可見的,這使得它非常適合做快取。
- 僅適合使用的場合。heap不允許使用xxxTEXT和xxxBLOB資料型別。注:操作符 “<=>” 說明:NULL-safe equal.這個操作符和“=”操作符執行相同的比較操作,不過在兩個操作碼均為NULL時,其所得值為1而不為NULL,而當一個操作碼為NULL時,其所得值為0而不為NULL。
- 一旦伺服器重啟,所有heap表資料丟失,但是heap表結構仍然存在,因為heap表結構是存放在實際資料庫路徑下的,不會自動刪除。重啟之後,heap將被清空,這時候對heap的查詢結果都是空的。
- 如果heap是複製的某資料表,則複製之後所有主鍵、索引、自增等格式將不復存在,需要重新新增主鍵和索引,如果需要的話。
- 對於重啟造成的資料丟失,有以下的解決辦法:
- 在任何查詢之前,執行一次簡單的查詢,判斷heap表是否存在資料,如果不存在,則把資料重新寫入,或者DROP表重新複製某張表。這需要多做一次查詢。不過可以寫成include檔案,在需要用該heap表的頁面隨時呼叫,比較方便。
- 對於需要該heap表的頁面,在該頁面第一次且僅在第一次查詢該表時,對資料集結果進行判斷,如果結果為空,則需要重新寫入資料。這樣可以節省一次查詢。
- 更好的辦法是在mysql每次重新啟動時自動寫入資料到heap,但是需要配置伺服器,過程比較複雜,通用性受到限制。
最佳實踐
已經不能再優化的SQL,採用記憶體表的處理方式,14w條資料,更新速度從3000多秒提升到80多秒
update t
set exchange=(select dict_val from sys_dict_item where dict_pid=(select id from sys_dict where dict_code='exchange') and dict_key=exchange)
where length(exchange)<3 and exchange is not null and statisticdate=proc_statisticdate;