SQL Server 執行計劃利用統計資訊對資料行的預估原理二(為什麼複合索引列順序會影響到執行計劃對資料行的預估)
關於統計資訊對資料行數做預估,之前寫過對非相關列(單獨或者單獨的索引列)進行預估時候的演算法,參考這裡。
今天來寫一下統計資訊對於複合索引在預估時候的計算方法和潛在問題。
本文原形來自於是個實際業務問題,某SQL在利用一個符合索引做查詢的時候,發現始終會出現預估誤差較大的情況,
而改變複合索引的列順序,這個預估行數的誤差會發生變化,
也就是說,Create index idx_index1 ON TableName(col1,col2)與Create index idx_index2 on TableName(col2,col1)
用完全一樣的的查詢條件做查詢,兩個索引的執行計劃對其預估的行數是不一樣的
究其原因在哪裡呢?
先造一個測試環境:
CREATE TABLE TestStatistics ( COL1 INT IDENTITY(1,1) , COL2 INT , COL3 DATETIME , COL4 VARCHAR(50) ) GO INSERT INTO TestStatistics VALUES (RAND()*10,CAST(GETDATE()-RAND()*300 AS date),NEWID()) GO 1000000
問題重現
首先看一個非常有意思的問題,
在同一張表上,
先這麼建一個索引:CREATE INDEX IDX_COL2_COL3 ON TestStatistics(COL2,COL3)
執行一個查詢,預估為4127.86行
然後DROP掉上面的索引,繼續建立一個索引:CREATE INDEX IDX_COL3_COL2 ON TestStatistics(COL3,COL2)
注意COL2和COL3的順序不一致
繼續執行上面的查詢(查詢條件不變,資料不變,僅僅是索引列順序發生了變化),這一次預估為2414.91行
查詢條件一樣,資料也一樣,為什麼改變複合索引列順序會影響到執行計劃對資料行的預估呢?
首先來看第一個索引時候的預估演算法:
這個查詢他預估為4127.86行,如下圖
說起來預估,就離不開統計資訊,首先來看IDX_COL2_COL3這個索引的統計資訊,
我們知道,對於複合索引,統計資訊中只有前導列的統計資料,也就是說IDX_COL3_COL2這個索引只有COL2這個列的統計資訊,如下截圖
對於COL2=2的統計資訊,統計為100336行,我們記住這個數字
統計資訊的另外一個特點就是在會在查詢列(非索引列)上自動建立統計資訊,如下截圖
查詢執行過程中,自動建立了一個名字為:_WA_Sys_00000003_24E8431A的統計資訊
這個統計資訊就是對COL3列的統計,可以發現在大於等於2012-10-20之後的統計行數
在SQL Server 2012中,對資料行的預估計算方式是各個欄位的選擇性的乘積,
假如Pn代表不同欄位的密度,那麼預估行數的計算方法就是: 預估行數=p0*p1*p2*p3……*RowCount
可以利用這個演算法,計算目前資料下,預估出來的結果:4217.86,跟執行計劃預估是一致的,非常完美!
當刪除了IDX_COL2_COL3重建建立順序為COL3+COL2的索引的時候,預估如下
與上面同樣的查詢條件,預估為2414.91行
依據上面的分析步驟,首先來分析索引列上的統計資訊,如下截圖為大於等於2016-10-20之後的預估行數
同理,本次查詢也會自動建立COL2列上的統計資訊(IDX_COL2_COL3索引被刪除),觀察這個統計資訊對COL2=2的預估為83711.36行
同樣我們利用上述公式,來計算預估的行數:2414.9035行,也非常完美地吻合和執行計劃預估的結果
至此,應該很清楚一開始的問題了,就是為什麼複合索引列順序不一致,在查詢的時候導致預估也不一致的原因。
最根本的原因有就是:
符合索引上只有前導列的統計資訊,查詢引擎會根據需要自動建立非前導列的統計資訊,
但是,非常關鍵一點,如果細心的話,你會發現查詢引擎自動建立的統計資訊的取樣行數都不是100%取樣的,這一點非常關鍵
正是因為非前導列取樣有一定的誤差,導致在預估演算法的時候,也即 預估行數=p0*p1*p2*p3……*RowCount的時候,密度值是不一樣的
也即在建立IDX_COL2_COL3的時候,統計出來的COL2密度為P1_1,COL3密度為P2_1,
建立IDX_COL3_COL2的時候,統計出來的COL2密度為P1_2,COL3密度為P2_2,因為P1_1<>P1_2,P2_1<>P2_2
因此,計算出的結果就是P1_1*P2_1<>P2_1*P2_2,原理很簡單,希望看官能明白。
照這麼計算,對於兩個順序不同的統計資訊,如果P1_1=P2_1並且P2_1=P2_2,那麼乘積就是一樣的,預估行數也就是一樣的,那麼是不是呢?
對於不同順序的兩個索引,先看COL2,COL3順序的索引
在查詢一次之後(建立了統計資訊),執行一個百分之百取樣(WITH FULLSCAN)的統計資訊更新
重新來看其預估行數,這一次預估為:2894.49
刪除COL2,COL3順序的索引,建立COL3,COL2為順序的索引
在查詢一次之後(建立了統計資訊),執行一個百分之百取樣(WITH FULLSCAN)的統計資訊更新
重新來看其預估行數,這一次預估為:同樣為2894.49,是吻合上述演算法
總結:
文字簡單演示了執行計劃利用統計資訊預估的演算法和原理,以及在計算預估行數時候可能受到的干擾因素,
這就要求我們在建立索引的時候,不僅僅是說我建一個複合索引就完事了,也要注意其索引列的順序對執行計劃預估的影響,
更重要的是,要注意查詢引擎自動生成的統計資訊對預估的影響程度。
拋開統計資訊談索引的,都是耍流氓。拋開統計資訊取樣百分比談統計資訊的,也是耍流氓。
引申出來另外一個問題:維護統計資訊的時候,能只更新索引列的統計資訊,忽略非索引列的統計資訊嗎?
本人技術能力還很菜,寫的不對的地方還請各位看官指出,謝謝。