轉自：http://www.cnblogs.com/AK2012/archive/2013/01/04/2844283.html

SQL索引在資料庫優化中佔有一個非常大的比例， 一個好的索引的設計，可以讓你的效率提高几十甚至幾百倍，在這裡將帶你一步步揭開他的神祕面紗。

　　1.1 什麼是索引？

　　SQL索引有兩種，聚集索引和非聚集索引，索引主要目的是提高了SQL Server系統的效能，加快資料的查詢速度與減少系統的響應時間 

下面舉兩個簡單的例子：

圖書館的例子：一個圖書館那麼多書，怎麼管理呢？建立一個字母開頭的目錄，例如：a開頭的書，在第一排，b開頭的在第二排，這樣在找什麼書就好說了，這個就是一個聚集索引，可是很多人借書找某某作者的，不知道書名怎麼辦？圖書管理員在寫一個目錄，某某作者的書分別在第幾排，第幾排，這就是一個非聚集索引

字典的例子：字典前面的目錄，可以按照拼音和部首去查詢，我們想查詢一個字，只需要根據拼音或者部首去查詢，就可以快速的定位到這個漢字了，這個就是索引的好處，拼音查詢法就是聚集索引，部首查詢就是一個非聚集索引.

    看了上面的例子，下面的一句話大家就很容易理解了：聚集索引儲存記錄是物理上連續存在，而非聚集索引是邏輯上的連續，物理儲存並不連續。就像欄位，聚集索引是連續的，a後面肯定是b，非聚集索引就不連續了，就像圖書館的某個作者的書，有可能在第1個貨架上和第10個貨架上。還有一個小知識點就是：聚集索引一個表只能有一個，而非聚集索引一個表可以存在多個。

　　　1.2 索引的儲存機制

  　　首先，無索引的表，查詢時，是按照順序存續的方法掃描每個記錄來查詢符合條件的記錄，這樣效率十分低下,舉個例子，如果我們將字典的漢字隨即打亂，沒有前面的按照拼音或者部首查詢，那麼我們想找一個字，按照順序的方式去一頁頁的找，這樣效率有多底，大家可以想象。

       聚集索引和非聚集索引的根本區別是表記錄的排列順序和與索引的排列順序是否一致，其實理解起來非常簡單，還是舉字典的例子：如果按照拼音查詢，那麼都是從a-z的，是具有連續性的，a後面就是b，b後面就是c， 聚集索引就是這樣的，他是和表的物理排列順序是一樣的，例如有id為聚集索引，那麼1後面肯定是2,2後面肯定是3，所以說這樣的搜尋順序的就是聚集索引。非聚集索引就和按照部首查詢是一樣是，可能按照偏房查詢的時候，根據偏旁‘弓’字旁，索引出兩個漢字，張和弘，但是這兩個其實一個在100頁，一個在1000頁，（這裡只是舉個例子），他們的索引順序和資料庫表的排列順序是不一樣的，這個樣的就是非聚集索引。

      原理明白了，那他們是怎麼儲存的呢？在這裡簡單的說一下，聚集索引就是在資料庫被開闢一個物理空間存放他的排列的值，例如1-100，所以當插入資料時，他會重新排列整個整個物理空間，而非聚集索引其實可以看作是一個含有聚集索引的表，他只僅包含原表中非聚集索引的列和指向實際物理表的指標。他只記錄一個指標，其實就有點和堆疊差不多的感覺了

　　1.3 什麼情況下設定索引 

動作描述	使用聚集索引	使用非聚集索引
外來鍵列	應	應
主鍵列	應	應
列經常被分組排序(order by)	應	應
返回某範圍內的資料	應	不應
小數目的不同值	應	不應
大數目的不同值	不應	應
頻繁更新的列	不應	應
頻繁修改索引列	不應	應
一個或極少不同值	不應	不應

建立索引的原則：

1) 定義主鍵的資料列一定要建立索引。

2) 定義有外來鍵的資料列一定要建立索引。

3) 對於經常查詢的資料列最好建立索引。

4) 對於需要在指定範圍內的快速或頻繁查詢的資料列;

5) 經常用在WHERE子句中的資料列。

6) 經常出現在關鍵字order by、group by、distinct後面的欄位，建立索引。如果建立的是複合索引，索引的欄位順序要和這些關鍵字後面的欄位順序一致，否則索引不會被使用。

7) 對於那些查詢中很少涉及的列，重複值比較多的列不要建立索引。

8) 對於定義為text、image和bit的資料型別的列不要建立索引。

9) 對於經常存取的列避免建立索引 

9) 限制表上的索引數目。對一個存在大量更新操作的表，所建索引的數目一般不要超過3個，最多不要超過5個。索引雖說提高了訪問速度，但太多索引會影響資料的更新操作。

10) 對複合索引，按照欄位在查詢條件中出現的頻度建立索引。在複合索引中，記錄首先按照第一個欄位排序。對於在第一個欄位上取值相同的記錄，系統再按照第二個欄位的取值排序，以此類推。因此只有複合索引的第一個欄位出現在查詢條件中，該索引才可能被使用,因此將應用頻度高的欄位，放置在複合索引的前面，會使系統最大可能地使用此索引，發揮索引的作用。

　　1.4 如何建立索引

　1.41 建立索引的語法：

CREATE [UNIQUE][CLUSTERED | NONCLUSTERED]  INDEX  index_name  

ON {table_name | view_name} [WITH [index_property [,....n]]

說明：

UNIQUE: 建立唯一索引。

CLUSTERED: 建立聚集索引。

NONCLUSTERED: 建立非聚集索引。

Index_property: 索引屬性。

 UNIQUE索引既可以採用聚集索引結構，也可以採用非聚集索引的結構，如果不指明採用的索引結構，則SQL Server系統預設為採用非聚集索引結構。

1.42 刪除索引語法：

DROP INDEX table_name.index_name[,table_name.index_name]

說明：table_name: 索引所在的表名稱。

index_name : 要刪除的索引名稱。

1.43 顯示索引資訊：

使用系統儲存過程：sp_helpindex 檢視指定表的索引資訊。

執行程式碼如下：

Exec sp_helpindex book1;

　　1.5 索引使用次數、索引效率、佔用CPU檢測、索引缺失

　　當我們明白了什麼是索引，什麼時間建立索引以後，我們就會想，我們建立的索引到底效率執行的怎麼樣？好不好？我們建立的對不對？

　　首先我們來認識一下DMV，DMV (dynamic management view)動態管理檢視和函式返回特定於實現的內部狀態資料。推出SQL Server 2005時，微軟介紹了許多被稱為dmvs的系統檢視，讓您可以探測SQL Server 的健康狀況，診斷問題，或檢視SQL Server例項的執行資訊。統計資料是在SQL Server執行的時候開始收集的，並且在SQL Server每次啟動的時候，統計資料將會被重置。當你刪除或者重新建立其元件時，某些dmv的統計資料也可以被重置，例如儲存過程和表，而其它的dmv資訊在執行dbcc命令時也可以被重置。

　　當你使用一個dmv時，你需要緊記SQL Server收集這些資訊有多長時間了，以確定這些從dmv返回的資料到底有多少可用性。如果SQL Server只運行了很短的一段時間，你可能不想去使用一些dmv統計資料，因為他們並不是一個能夠代表SQL Server例項可能遇到的真實工作負載的樣本。另一方面，SQL Server只能維持一定量的資訊，有些資訊在進行SQL Server效能管理活動的時候可能丟失，所以如果SQL Server已經運行了相當長的一段時間，一些統計資料就有可能已被覆蓋。

　　因此，任何時候你使用dmv，當你檢視從SQL Server 2005的dmvs返回的相關資料時，請務必將以上的觀點裝在腦海中。只有當你確信從dmvs獲得的資訊是準確和完整的，你才能變更資料庫或者應用程式程式碼。

下面就看一下dmv到底能帶給我們那些好的功能呢？

1.51 ：索引使用次數

我們下看一下下面兩種查詢方式返回的結果（這兩種查詢的查詢用途一致）

①----

declare @dbid int

select @dbid = db_id()

select objectname=object_name(s.object_id), s.object_id, indexname=i.name, i.index_id

            , user_seeks, user_scans, user_lookups, user_updates

from sys.dm_db_index_usage_stats s,

            sys.indexes i

where database_id = @dbid and objectproperty(s.object_id,'IsUserTable') = 1

and i.object_id = s.object_id

and i.index_id = s.index_id

order by (user_seeks + user_scans + user_lookups + user_updates) asc

返回查詢結果

 

②：使用多的索引排在前面

SELECT  objects.name ,

        databases.name ,

        indexes.name ,

        user_seeks ,

        user_scans ,

        user_lookups ,

        partition_stats.row_count

FROM    sys.dm_db_index_usage_stats stats

        LEFT JOIN sys.objects objects ON stats.object_id = objects.object_id

        LEFT JOIN sys.databases databases ON databases.database_id = stats.database_id

        LEFT JOIN sys.indexes indexes ON indexes.index_id = stats.index_id

                                         AND stats.object_id = indexes.object_id

        LEFT  JOIN sys.dm_db_partition_stats partition_stats ON stats.object_id = partition_stats.object_id

                                                              AND indexes.index_id = partition_stats.index_id

WHERE   1 = 1

--AND databases.database_id = 7

        AND objects.name IS NOT NULL

        AND indexes.name IS NOT NULL

        AND user_scans>0

ORDER BY user_scans DESC ,

        stats.object_id ,

        indexes.index_id

返回查詢結果

 

user_seeks : 通過使用者查詢執行的搜尋次數。 
 個人理解： 此統計索引搜尋的次數

user_scans: 通過使用者查詢執行的掃描次數。 
  個人理解：此統計表掃描的次數，無索引配合
user_lookups: 通過使用者查詢執行的查詢次數。 
 個人理解：使用者通過索引查詢，在使用RID或聚集索引查詢資料的次數，對於堆表或聚集表資料而言和索引配合使用次數
user_updates:  通過使用者查詢執行的更新次數。 
  個人理解：索引或表的更新次數

我們可以清晰的看到，那些索引用的多，那些索引沒用過，大家可以根據查詢出來的東西去分析自己的資料索引和表

1.52 ：索引提高了多少效能

新建了索引到底增加了多少資料的效率呢？到底提高了多少效能呢？執行如下SQL可以返回連線缺失索引動態管理檢視，發現最有用的索引和建立索引的方法： 

SELECT  

avg_user_impact AS average_improvement_percentage,  

avg_total_user_cost AS average_cost_of_query_without_missing_index,  

'CREATE INDEX ix_' + [statement] +  

ISNULL(equality_columns, '_') + 

ISNULL(inequality_columns, '_') + ' ON ' + [statement] +  

' (' + ISNULL(equality_columns, ' ') +  

ISNULL(inequality_columns, ' ') + ')' +  

ISNULL(' INCLUDE (' + included_columns + ')', '')  

AS create_missing_index_command 

FROM sys.dm_db_missing_index_details a INNER JOIN  

sys.dm_db_missing_index_groups b ON a.index_handle = b.index_handle 

INNER JOIN sys.dm_db_missing_index_group_stats c ON  

b.index_group_handle = c.group_handle 

WHERE avg_user_impact > = 40

返回結果

 

雖然使用者能夠修改效能提高的百分比，但以上查詢返回所有能夠將效能提高40%或更高的索引。你可以清晰的看到每個索引提高的效能和效率了

1.53 ：最佔用CPU、執行時間最長命令

這個和索引無關，但是還是在這裡提出來，因為他也屬於DMV帶給我們的功能嗎，他可以讓你輕鬆查詢出，那些sql語句佔用你的cpu最高

SELECT TOP 100 execution_count,

           total_logical_reads /execution_count AS [Avg Logical Reads],

           total_elapsed_time /execution_count AS [Avg Elapsed Time],

                db_name(st.dbid) as [database name],

           object_name(st.dbid) as [object name],

           object_name(st.objectid) as [object name 1],

           SUBSTRING(st.text, (qs.statement_start_offset / 2) + 1, 

           ((CASE statement_end_offset WHEN - 1 THEN DATALENGTH(st.text) ELSE qs.statement_end_offset END - qs.statement_start_offset) 

             / 2) + 1) AS statement_text

  FROM sys.dm_exec_query_stats AS qs CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS st

 WHERE execution_count > 100

 ORDER BY 1 DESC;

返回結果：

 

執行時間最長的命令

SELECT TOP 10 COALESCE(DB_NAME(st.dbid),

DB_NAME(CAST(pa.value as int))+'*',

'Resource') AS DBNAME,

SUBSTRING(text,

-- starting value for substring

        CASE WHEN statement_start_offset = 0

OR statement_start_offset IS NULL

THEN 1

ELSE statement_start_offset/2 + 1 END,

-- ending value for substring

        CASE WHEN statement_end_offset = 0

OR statement_end_offset = -1

OR statement_end_offset IS NULL

THEN LEN(text)

ELSE statement_end_offset/2 END -

CASE WHEN statement_start_offset = 0

OR statement_start_offset IS NULL

THEN 1

ELSE statement_start_offset/2  END + 1

)  AS TSQL,

total_logical_reads/execution_count AS AVG_LOGICAL_READS

FROM sys.dm_exec_query_stats

CROSS APPLY sys.dm_exec_sql_text(sql_handle) st

OUTER APPLY sys.dm_exec_plan_attributes(plan_handle) pa

WHERE attribute = 'dbid'

ORDER BY AVG_LOGICAL_READS DESC ;

 

看到了嗎？直接可以定位到你的sql語句，優化去吧。還等什麼呢？

1.54：缺失索引

缺失索引就是幫你查詢你的資料庫缺少什麼索引，告訴你那些欄位需要加上索引，這樣你就可以根據提示新增你資料庫缺少的索引了

SELECT TOP 10

[Total Cost] = ROUND(avg_total_user_cost * avg_user_impact * (user_seeks + user_scans),0)

, avg_user_impact

, TableName = statement

, [EqualityUsage] = equality_columns

, [InequalityUsage] = inequality_columns

, [Include Cloumns] = included_columns

FROM    sys.dm_db_missing_index_groups g

INNER JOIN sys.dm_db_missing_index_group_stats s

ON s.group_handle = g.index_group_handle

INNER JOIN sys.dm_db_missing_index_details d

ON d.index_handle = g.index_handle

ORDER BY [Total Cost] DESC;

查詢結果如下：

 

　　1.6  適當建立索引覆蓋

　　假設你在Sales表(SelesID,SalesDate,SalesPersonID,ProductID,Qty)的外來鍵列(ProductID)上建立了一個索引，假設ProductID列是一個高選中性列，那麼任何在where子句中使用索引列(ProductID)的select查詢都會更快，如果在外來鍵上沒有建立索引，將會發生全部掃描，但還有辦法可以進一步提升查詢效能。

　　假設Sales表有10,000行記錄，下面的SQL語句選中400行(總行數的4%)：　

SELECT SalesDate, SalesPersonID FROM Sales WHERE ProductID = 112

　　我們來看看這條SQL語句在SQL執行引擎中是如何執行的：

　　1)Sales表在ProductID列上有一個非聚集索引，因此它查詢非聚集索引樹找出ProductID=112的記錄;

　　2)包含ProductID = 112記錄的索引頁也包括所有的聚集索引鍵(所有的主鍵鍵值，即SalesID);

　　3)針對每一個主鍵(這裡是400)，SQL Server引擎查詢聚集索引樹找出真實的行在對應頁面中的位置;

　　SQL Server引擎從對應的行查詢SalesDate和SalesPersonID列的值。

　　在上面的步驟中，對ProductID = 112的每個主鍵記錄(這裡是400)，SQL Server引擎要搜尋400次聚集索引樹以檢索查詢中指定的其它列(SalesDate，SalesPersonID)。

　　如果非聚集索引頁中包括了聚集索引鍵和其它兩列(SalesDate,，SalesPersonID)的值，SQL Server引擎可能不會執行上面的第3和4步，直接從非聚集索引樹查詢ProductID列速度還會快一些，直接從索引頁讀取這三列的數值。

　　幸運的是，有一種方法實現了這個功能，它被稱為“覆蓋索引”，在表列上建立覆蓋索引時，需要指定哪些額外的列值需要和聚集索引鍵值(主鍵)一起儲存在索引頁中。下面是在Sales 表ProductID列上建立覆蓋索引的例子：　

CREATE INDEX NCLIX_Sales_ProductID--Index name

　　ON dbo.Sales(ProductID)--Column on which index is to be created
　　INCLUDE(SalesDate, SalesPersonID)--Additional column values to include

　　應該在那些select查詢中常使用到的列上建立覆蓋索引，但覆蓋索引中包括過多的列也不行，因為覆蓋索引列的值是儲存在記憶體中的，這樣會消耗過多記憶體，引發效能下降。

　　1.7 索引碎片

　　1.8 索引實戰（摘抄）

之所以這章摘抄，是因為下面這個文章已經寫的太好了，估計我寫出來也無法比這個好了，所以就摘抄了

人們在使用SQL時往往會陷入一個誤區，即太關注於所得的結果是否正確，而忽略了不同的實現方法之間可能存在的效能差異，這種效能差異在大型的或是複雜的資料庫環境中（如聯機事務處理OLTP或決策支援系統DSS）中表現得尤為明顯。

筆者在工作實踐中發現，不良的SQL往往來自於不恰當的索引設計、不充份的連線條件和不可優化的where子句。

在對它們進行適當的優化後，其執行速度有了明顯地提高！

下面我將從這三個方面分別進行總結：

為了更直觀地說明問題，所有例項中的SQL執行時間均經過測試，不超過１秒的均表示為（< 1秒）。----

測試環境: 主機：HP LH II---- 主頻：330MHZ---- 記憶體：128兆----

作業系統：Operserver5.0.4----

資料庫：Sybase11.0.3

一、不合理的索引設計----

例：表record有620000行，試看在不同的索引下，下面幾個 SQL的執行情況：

---- 1.在date上建有一非個群集索引

select count(*) from record where date >'19991201' and date < '19991214'and amount >2000 (25秒)

select date ,sum(amount) from record group by date(55秒)

select count(*) from record where date >'19990901' and place in ('BJ','SH') (27秒)

---- 分析：----

date上有大量的重複值，在非群集索引下，資料在物理上隨機存放在資料頁上，在範圍查詢時，必須執行一次表掃描才能找到這一範圍內的全部行。

---- 2.在date上的一個群集索引

select count(*) from record where date >'19991201' and date < '19991214' and amount >2000 （14秒）

select date,sum(amount) from record group by date（28秒）

select count(*) from record where date >'19990901' and place in ('BJ','SH')（14秒）

---- 分析：---- 在群集索引下，資料在物理上按順序在資料頁上，重複值也排列在一起，因而在範圍查詢時，可以先找到這個範圍的起末點，且只在這個範圍內掃描資料頁，避免了大範圍掃描，提高了查詢速度。

---- 3.在place，date，amount上的組合索引

select count(*) from record where date >'19991201' and date < '19991214' and amount >2000 （26秒）

select date,sum(amount) from record group by date（27秒）

select count(*) from record where date >'19990901' and place in ('BJ, 'SH')（< 1秒）

---- 分析：---- 這是一個不很合理的組合索引，因為它的前導列是place，第一和第二條SQL沒有引用place，因此也沒有利用上索引；第三個SQL使用了place，且引用的所有列都包含在組合索引中，形成了索引覆蓋，所以它的速度是非常快的。

---- 4.在date，place，amount上的組合索引

select count(*) from record where date >'19991201' and date < '19991214' and amount >2000(< 1秒)

select date,sum(amount) from record group by date（11秒）

select count(*) from record where date >'19990901' and place in ('BJ','SH')（< 1秒）

---- 分析：---- 這是一個合理的組合索引。它將date作為前導列，使每個SQL都可以利用索引，並且在第一和第三個SQL中形成了索引覆蓋，因而效能達到了最優。

---- 5.總結：----

預設情況下建立的索引是非群集索引，但有時它並不是最佳的；合理的索引設計要建立在對各種查詢的分析和預測上。

一般來說：

①.有大量重複值、且經常有範圍查詢（between, >,< ，>=,< =）和order by、group by發生的列，可考慮建立群集索引；

②.經常同時存取多列，且每列都含有重複值可考慮建立組合索引；

③.組合索引要儘量使關鍵查詢形成索引覆蓋，其前導列一定是使用最頻繁的列。

二、不充份的連線條件：

例：表card有7896行，在card_no上有一個非聚集索引，表account有191122行，在account_no上有一個非聚集索引，試看在不同的表連線條件下，兩個SQL的執行情況：

select sum(a.amount) from account a,card b where a.card_no = b.card_no（20秒）

select sum(a.amount) from account a,card b where a.card_no = b.card_no and a.account_no=b.account_no（< 1秒）

---- 分析：---- 在第一個連線條件下，最佳查詢方案是將account作外層表，card作內層表，利用card上的索引，其I/O次數可由以下公式估算為：

外層表account上的22541頁+（外層表account的191122行*內層表card上對應外層表第一行所要查詢的3頁）=595907次I/O

在第二個連線條件下，最佳查詢方案是將card作外層表，account作內層表，利用account上的索引，其I/O次數可由以下公式估算為：外層表card上的1944頁+（外層表card的7896行*內層表account上對應外層表每一行所要查詢的4頁）= 33528次I/O

可見，只有充份的連線條件，真正的最佳方案才會被執行。

總結：

1.多表操作在被實際執行前，查詢優化器會根據連線條件，列出幾組可能的連線方案並從中找出系統開銷最小的最佳方案。連線條件要充份考慮帶有索引的表、行數多的表；內外表的選擇可由公式：外層表中的匹配行數*內層表中每一次查詢的次數確定，乘積最小為最佳方案。

2.檢視執行方案的方法-- 用set showplanon，開啟showplan選項，就可以看到連線順序、使用何種索引的資訊；想看更詳細的資訊，需用sa角色執行dbcc(3604,310,302)。

三、不可優化的where子句

1.例：下列SQL條件語句中的列都建有恰當的索引，但執行速度卻非常慢：

select * from record wheresubstring(card_no,1,4)='5378'(13秒)

select * from record whereamount/30< 1000（11秒）

select * from record whereconvert(char(10),date,112)='19991201'（10秒）

分析：

where子句中對列的任何操作結果都是在SQL執行時逐列計算得到的，因此它不得不進行表搜尋，而沒有使用該列上面的索引；

如果這些結果在查詢編譯時就能得到，那麼就可以被SQL優化器優化，使用索引，避免表搜尋，因此將SQL重寫成下面這樣：

select * from record where card_no like'5378%'（< 1秒）

select * from record where amount< 1000*30（< 1秒）

select * from record where date= '1999/12/01'（< 1秒）

你會發現SQL明顯快起來！

2.例：表stuff有200000行，id_no上有非群集索引，請看下面這個SQL：

select count(*) from stuff where id_no in('0','1')（23秒）

分析：---- where條件中的'in'在邏輯上相當於'or'，所以語法分析器會將in ('0','1')轉化為id_no ='0' or id_no='1'來執行。

我們期望它會根據每個or子句分別查詢，再將結果相加，這樣可以利用id_no上的索引；

但實際上（根據showplan）,它卻採用了"OR策略"，即先取出滿足每個or子句的行，存入臨時資料庫的工作表中，再建立唯一索引以去掉重複行，最後從這個臨時表中計算結果。因此，實際過程沒有利用id_no上索引，並且完成時間還要受tempdb資料庫效能的影響。

實踐證明，表的行數越多，工作表的效能就越差，當stuff有620000行時，執行時間竟達到220秒！還不如將or子句分開：

select count(*) from stuff where id_no='0'select count(*) from stuff where id_no='1'

得到兩個結果，再作一次加法合算。因為每句都使用了索引，執行時間只有3秒，在620000行下，時間也只有4秒。

或者，用更好的方法，寫一個簡單的儲存過程：

create proc count_stuff asdeclare @a intdeclare @b intdeclare @c intdeclare @d char(10)beginselect @a=count(*) from stuff where id_no='0'select @b=count(*) from stuff where id_no='1'endselect @[email protected][email protected] @d=convert(char(10),@c)print @d

直接算出結果，執行時間同上面一樣快！

相關推薦