MySQL：百萬級、千萬級的大資料分頁查詢之效能優化
原文地址：https://www.cnblogs.com/huangjinyong/p/12758508.html
1. 直接用limitstart,count分頁語句，也是我程式中用的方法：
select*fromproductlimitstart,count
當起始頁較小時，查詢沒有效能問題，我們分別看下從10，100，1000，10000開始分頁的執行時間（每頁取20條），如下：
select * from product limit 10, 20 0.016秒 select * from product limit 100, 20 0.016秒 select * from product limit 1000, 20 0.047秒 select* from product limit 10000, 20 0.094秒
...
select * from product limit 400000, 20 3.229秒
分析： 我們已經看出隨著起始記錄的增加，時間也隨著增大，這說明分頁語句limit跟起始頁碼是有很大關係的，那麼我們把起始記錄改為40w看下（也就是記錄的一般左右）。
再看我們取最後一頁記錄的時間，如下所示：
select * from product limit 866613, 20 37.44秒
難怪搜尋引擎抓取我們頁面的時候經常會報超時，像這種分頁最大的頁碼頁顯然這種時間是無法忍受的。
從中我們也能總結出兩件事情：
1）limit語句的查詢時間與起始記錄的位置成正比
2）mysql的limit語句是很方便，但是對記錄很多的表並不適合直接使用。
2. 對limit分頁問題的效能優化方法
利用表的覆蓋索引來加速分頁查詢
我們都知道，利用了索引查詢的語句中如果只包含了那個索引列（覆蓋索引），那麼這種情況會查詢很快。
因為利用索引查詢有優化演算法，且資料就在查詢索引上面，不用再去找相關的資料地址了，這樣節省了很多時間。另外Mysql中也有相關的索引快取，在併發高的時候利用快取就效果更好了。
在我們的例子中，我們知道id欄位是主鍵，自然就包含了預設的主鍵索引。現在讓我們看看利用覆蓋索引的查詢效果如何：
這次我們之間查詢最後一頁的資料（利用覆蓋索引，只包含id列），如下：
selectidfromproductlimit866613,20 0.2秒
相對於查詢了所有列的37.44秒，提升了大概100多倍的速度
那麼如果我們也要查詢所有列，有兩種方法，一種是id>=的形式，另一種就是利用join，看下實際情況：
1. id>=的形式
SELECT * FROM product WHERE ID > =(select id from product limit 866613, 1) limit 20
查詢時間為0.2秒，簡直是一個質的飛躍啊，哈哈~
2.利用join拼接（只包含索引列的）子查詢
SELECT * FROM product a JOIN (select id from product limit 866613, 20) b ON a.ID = b.id
查詢時間也很短，贊！
其實兩者用的都是一個原理嘛，所以效果也差不多。
最後，總結一下：
Mysql的分頁查詢十分簡單，但是當資料量大的時候一般的分頁就吃不消了。
傳統分頁查詢：SELECT c1,c2,cn… FROM table LIMIT n,m
MySQL的limit工作原理就是先讀取前面n條記錄，然後拋棄前n條，讀後面m條想要的，所以n越大，偏移量越大，效能就越差。
推薦分頁查詢方法：
1、儘量給出查詢的大致範圍
SELECT c1,c2,cn... FROM table WHERE id>=20000 LIMIT 10;
2、子查詢法
SELECT c1,c2,cn... FROM table WHERE id>=(SELECT id FROM table LIMIT 20000,1)LIMIT 10;
3、高效能MySQL一書中提到的只讀索引方法
SELECT c1,c2,cn... FROM member ORDER BY last_active LIMIT 50,5
優化後SQL：
SELECT c1, c2, cn .. . FROM member INNER JOIN (SELECT member_id FROM member ORDER BY last_active LIMIT 50, 5) USING (member_id)
分別在於，優化前的SQL需要更多I/O浪費，因為先讀索引，再讀資料，然後拋棄無需的行。而優化後的SQL(子查詢那條)只讀索引(Cover index)就可以了，然後通過member_id讀取需要的列。
4、第一步用用程式讀取出ID，然後再用IN方法讀取所需記錄
程式讀ID：
SELECT id FROM table LIMIT 20000, 10;
SELECT c1, c2, cn .. . FROM table WHERE id IN (id1, id2, idn.. .)