Mysql高效分頁
阿新 • • 發佈:2019-01-10
前言
通常針對mysql大資料量的查詢採取“分頁”策略,但是如果翻頁到比較靠後的位置時查詢將變得很慢,因為mysql將花費大量的時間來掃描需要丟棄的資料。
基本分頁技巧
通常情況下,為了實現高效分頁,需要在查詢中WHERE條件列和排序列應用組合索引。
例如,建立索引(a,b,c)使得以下查詢可以使用索引,提高查詢效率:
1、欄位排序
ORDER BY a
ORDER BY a,b
ORDER BY a, b, c
ORDER BY a DESC, b DESC, c DESC
2、篩選和排序
WHERE a = const ORDER BY b, c
WHERE a = const AND b = const ORDER BY c
WHERE a = const ORDER BY b, c
WHERE a = const AND b > const ORDER BY b, c
3、下面查詢是無法使用以上索引的
ORDER BY a ASC, b DESC, c DESC//排序方向不一致
WHERE g = const ORDER BY b, c // 欄位g不是索引一部分
WHERE a = const ORDER BY c //沒有使用欄位b
WHERE a = const ORDER BY a, d // 欄位d不是索引的一部分
解決大資料量翻頁問題
1、將LIMIT M,N的查詢改為LIMIT N
例如,使用LIMIT 10000,20,Mysql將需要讀取前10000行,然後獲取後面的20行 ,這是非常低效的,使用LIMIT N的方式,通過每頁第一條或最後一條記錄的id來做條件篩選,再配合降序和升序獲得上/下一頁的結果集 。
2、限制使用者翻頁數量
產品實際使用過程中使用者很少關心搜尋結果的第1萬條資料。
3、使用延遲關聯
通過使用覆蓋索引來查詢返回需要的主鍵,再根據返回的主鍵關聯原表獲得需要的行,這樣可以減少Mysql掃描那些需要丟棄的行數。
例項:
使用索引(sex,rating)進行查詢:
mysql> SELECT <cols> FROM profiles INNER JOIN (
-> SELECT <primary key cols> FROM profiles
-> WHERE x.sex='M' ORDER BY rating LIMIT 100000, 10
-> ) AS x USING(<primary key cols>);