1 有問題的程式碼

CleverCode發現在mysql有分頁丟失資料的問題。如下面的程式碼，system_user表有400萬行資料，這時候需要把這張表裡面的所有的userid取出來。這時候只能分頁取，一次取2萬。

//系統使用者表(400萬行的資料)
$systemUserTable = new systemUserTable();


// 每次取20000
$pageSize = 20000;
for($curPage = 1;; $curPage++) {
    $sql = "select userid from system_user order by userid asc limit " . (($curPage - 1) * $pageSize) . "," . $pageSize;
    
    //取資料
    $rows = $systemUserTable->fetchAll($sql);
    
    // 沒有資料了，結束
    if (empty($rows)) {
        break;
    }
    
    // 遍歷資料
    foreach ( $rows as $key => $val ) {
        $userid = $val['userid'];
        
        echo $userid."\r\n";
    }
}
 

2 問題分析

1）假如system_user只有10行資料(u1,u2,u3,u4,u5,u6,u7,u8,u9,u10)。
2) 這時候每次取5行。分2兩次取。
3）正常情況第一頁取(u1,u2,u3,u4,u5)，正常情況第二頁取(u6,u7,u8,u9,u10)。
4）如果在第一頁去完，第二頁取之前的時間間隙裡面。u2,u3被刪除了。
5）那麼第二頁取的時候。資料變成了(u1,u4,u5,u6,u7,u8,u9,u10)。
6）那麼取出來第二頁的資料就變成了（u8,u9,u10）。

7）u6,u7被丟失了。

3 解決方案

每次取的時候where帶著最大偏移量。如下面的程式碼。

$systemUserTable = new systemUserTable();
        
// 每次取20000
$pageSize = 20000;


// 每頁最大編號
$pageMaxId = 0;


while ( 1 ) {
    $sql = "select userid from system_user where userid > ${pageMaxId} order by userid asc limit " . $pageSize;
    
    //取資料
    $rows = $fyHouse->fetchAll($sql);
    
     // 沒有資料，結束
    if (empty($rows)) {
        break;
    }
    
    // 遍歷資料
    foreach ( $rows as $key => $val ) {
        $userid = $val['userid'];
        
        // 記錄當前最大分頁編號
        if ($userid > $pageMaxId) {
            $pageMaxId = $userid;
        }
        
        echo $userid."\r\n";
    }
}
 

過程分析：
1）system_user只有10行資料(u1,u2,u3,u4,u5,u6,u7,u8,u9,u10)。
2) 第一次取，最大偏移量0,limit 5;則取出(u1,u2,u3,u4,u5)。記錄最大的偏移量u5的值。
4）如果在第一頁去完，第二頁取之前的時間間隙裡面。u2,u3被刪除了。
5）那麼第二頁取的時候。資料變成了(u1,u4,u5,u6,u7,u8,u9,u10)。

3）第二次取，最大偏移量u5,limit 5;則取出(u6,u7,u8,u9,u10)。記錄最大的偏移量u10的值。