SQLite 查詢處理及優化

查詢處理及優化是關係資料庫得以流行的根本原因，也是關係資料庫系統最核心的技術之一。SQLite的查詢處理模組非常的精緻，而且很容易移植到不支援SQL的儲存引擎，Berkeley DB最新的版本已經將其完整的移植過來。本文將簡要的討論一下SQLite的查詢處理及優化。
查詢處理一般來說，包括詞法分析、語法分析、語義分析、生成執行計劃以及計劃的執行幾個部分。SQLite的詞法分析器是手工寫的，語法分析器由Lemon生成，語義分析主要的進行語義方面的一些檢查，比如table是否存在等。而執行計劃的生成及執行是最核心的兩部分，也是相對比較複雜、有點技術含量的東西。SQLite的執行計劃採用了虛擬機器的思想，實際上，這種基於虛擬機器的思想並非SQLite所獨有，但是，SQLite將其發揮到了極致，它生成的執行計劃非常詳細，而且很容易讀(在這裡，我不得不佩服D. Richard Hipp在編譯理論方面的功底)。

1、語法分析——語法樹
詞法分析本身比較簡單，這裡就不談了。語法分析的主要任務就是對使用者輸入的SQL語句進行語法檢查，然後生成一個包含所有資訊的語法樹。對於SELECT語句，這個語法樹最終由結構體Select表示：

程式碼 struct Select {
ExprList *pEList; /* The fields of the result */
u8 op; /* One of: TK_UNION TK_ALL TK_INTERSECT TK_EXCEPT */char affinity; /* MakeRecord with this affinity for SRT_Set

*/
  u16 selFlags;          /* Various SF_* values */
  SrcList *pSrc;         /* The FROM clause */
  Expr *pWhere;          /* The WHERE clause */
  ExprList *pGroupBy;    /* The GROUP BY clause */
  Expr *pHaving;         /* The HAVING clause */
  ExprList *pOrderBy;    /* The ORDER BY clause */
  Select

*pPrior;        /* Prior select in a compound select statement */
  Select *pNext;         /* Next select to the left in a compound */
  Select *pRightmost;    /* Right-most select in a compound select statement */
  Expr *pLimit;          /* LIMIT expression. NULL means not used. */
  Expr *pOffset;         /* OFFSET expression. NULL means not used. */int iLimit, iOffset;   /* Memory registers holding LIMIT & OFFSET counters */int addrOpenEphm[3];   /* OP_OpenEphem opcodes related to this select */
};

該結構體比較簡單，但要注意幾個欄位。pEList輸出結果列的語法樹；pSrc為FROM子句語法樹；pWhere為WHERE部分的語法樹。

select語法分析在最終在sqlite3SelectNew中完成：

程式碼

它主要就是將之前得到的各個子語法樹彙總到Select結構體，並根據該結構，進行接下來語義分析及生成執行計劃等工作。

來看個例子，這個例子貫穿於全文：

1 explain select s.sname,c.cname,sc.grade from students s join sc join course c on s.sid=sc.sid and sc.cid = c.cid;
2 0|Trace|0|0|0||00|
3 1|Goto|0|35|0||00|
4 //////////////////////////(1)////////////////////////////
5 2|OpenRead|0|3|0|2|00|students #開啟students表
6 3|OpenRead|1|7|0|3|00|sc #開啟sc表
7 4|OpenRead|3|8|0|keyinfo(2,BINARY,BINARY)|00|sqlite_autoindex_sc_1 #sc的索引
8 5|OpenRead|2|5|0|2|00|course #course表
9 6|OpenRead|4|6|0|keyinfo(1,BINARY)|00|sqlite_autoindex_course_1 #course的索引
10 //////////////////////////(2)//////////////////////////////
11 7|Rewind|0|29|0||00| #將遊標p0定位到students表的第一條記錄
12 8|Column|0|0|1||00|students.sid #取出第0列,寫到r1
13 9|IsNull|1|28|0||00|
14 10|Affinity|1|1|0|d|00|
15 11|SeekGe|3|28|1|1|00| #將遊標p3定位到sc索引的>=r1的記錄處
16 12|IdxGE|3|28|1|1|01|
17 13|IdxRowid|3|2|0||00|
18 14|Seek|1|2|0||00|
19 15|Column|3|1|3||00|sc.cid #讀取sc.cid到r3
20 16|IsNull|3|27|0||00|
21 17|Affinity|3|1|0|d|00|
22 18|SeekGe|4|27|3|1|00| #將遊標p4定位到course索引的>=r3的記錄處
23 19|IdxGE|4|27|3|1|01|
24 20|IdxRowid|4|4|0||00|
25 21|Seek|2|4|0||00|
26 ///////////////////////////(3)//////////////////////////////
27 22|Column|0|1|5||00|students.sname #從遊標p0取出第1列 (sname)
28 23|Column|2|1|6||00|course.cname #從遊標p2取出第1列 (cname)
29 24|Column|1|2|7||00|sc.grade #從遊標p1取出第2列(grade)
30 25|ResultRow|5|3|0||00|
31 ///////////////////////////(4)///////////////////////////////
32 26|Next|4|19|0||00|
33 27|Next|3|12|0||00|
34 28|Next|0|8|0||01|
35 29|Close|0|0|0||00|
36 30|Close|1|0|0||00|
37 31|Close|3|0|0||00|
38 32|Close|2|0|0||00|
39 33|Close|4|0|0||00|
40 //////////////////////////(5)//////////////////////////////////
41 34|Halt|0|0|0||00|
42 35|Transaction|0|0|0||00|
43 36|VerifyCookie|0|7|0||00|
44 37|TableLock|0|3|0|students|00|
45 38|TableLock|0|7|0|sc|00|
46 39|TableLock|0|5|0|course|00|
47 40|Goto|0|2|0||00|
48

來看看該SQL語句生成的語法樹：

FROM部分：
第一個表項：

表名zName =”stduents”，zAlias=”s”，jointype = 0。
第二個表項：

注意，jointype = 1(JT_INNER)。
第三個表項：

注意，jointype = 1(JT_INNER)。
WHERE部分(結點型別為Expr的一棵二叉樹)：

2、生成執行計劃(語法樹到OPCODE)

Select的執行計劃在sqlite3Select中完成：

int sqlite3Select(
  Parse *pParse,         /* The parser context */
  Select *p,             /* SELECT語法樹 */
  SelectDest *pDest      /* 如果處理結果集 */
)

其實，該函式先對SQL語句進行語義分析，然後再進行優化，最後生成執行計劃。

對於上面要SQL語句，生成的執行計劃(虛擬機器opcode)大致分成5部分，前4部分都在sqlite3Select()中生成，它主要呼叫了以下幾個函式：

其中(1)、(2)在sqlite3WhereBegin()中生成，(2)即所謂的查詢優化處理；(3)在 selectInnerLoop中生成；(4)在sqlite3WhereEnd中生成；(5)是sqlite3FinishCoding中完成的。後續章節，我將分別分析每一部分。

3、sqlite3WhereBegin
該函式是查詢處理最為核心的函式，它主要完成where部分的優化及相關opcode的生成。

程式碼 WhereInfo *sqlite3WhereBegin(
Parse *pParse, /* The parser context */
SrcList

SQLite 查詢處理及優化

SQLite 查詢處理及優化

私有網盤nextcloud 12的問題處理及優化

mysql聯合查詢分析及優化

Solr查詢配置及優化【eDisMax查詢解析器】

數據庫 chapter 9 關系查詢處理和查詢優化

《數據庫系統概論》 -- 9 查詢處理與查詢優化

MyBatis SQL分頁處理及查詢總數據量

第九章關係查詢處理和查詢優化

文字處理及檔案查詢

Mysql 多表聯合查詢效率分析及優化

資料庫系統概論（第九章：關係查詢處理和查詢優化）

MySQL優化（四）慢查詢的定位及優化

關係查詢處理和查詢優化

迴圈查詢資料的效能問題及優化

海量資料處理專題（七）——資料庫索引及優化(轉)

很好的一篇關於MyBatis 多表聯合查詢及優化的文章

個人機房重構——組合查詢及優化

MySQL優化索引及優化漢字模糊查詢語句

sqlite時間函式及時間日期處理

SQL之解決where 1=1 問題及優化多條件查詢

SQLite 查詢處理及優化

相關推薦