1. 程式人生 > >MySQL源碼探索02SQL命令總體執行流程

MySQL源碼探索02SQL命令總體執行流程

臨時 bis mysql源代碼 data nts mysql服務器 產生 exp 就是

本文將在MySQL源碼探索系列技術博客的第1篇的基礎上接著分析dispatch_command()函數之後的工作流程,主要是分析mysql_parse()和mysql_execute_command()兩個函數的代碼框架,並對其中涉及到的隱式事務如何判斷等等問題結合MySQL源碼進行了介紹。

本人技術博客網址:

https://www.cnblogs.com/coe2coe/

其中可以找到MySQL源碼探索系列博客和MySQL其它系列博客,以及其它相關的技術系列的博客。

1.mysql_parse

前面已經看到了MySQL服務器接收到SQL命令後最終到了dispatch_command()函數中進行處理。dispatch_command()的核心功能是調用了mysql_parse()函數。

mysql_parse()函數的精簡代碼如下圖所示,為了更加直觀的描述這個函數的作用,對代碼布局也做了一定的調整。

技術分享圖片

圖1

mysql_parse()的核心功能如下:

(1)判斷SQL是否在查詢緩存中,如果查詢緩存命中,則直接發送結果給mysql客戶端,同時記錄日誌,查詢過程結束。如果沒命中,或者在緩存中但是沒權限使用,則執行後續過程進行實際的查詢操作。對於查詢緩存的具體細節,本文不做展開描述。

(2)解析SQL。這個過程實際上使用bison開源框架產生的代碼進行語法解析,限於篇幅,本文不做展開描述。如果對如何使用bison和flex開源框架產生語法解析代碼這方面的內容感興趣,可以閱讀本人的另一個系列的技術博客:

MySQL技術探索01實現SQL語法解析器

https://www.cnblogs.com/coe2coe/p/9743701.html

(3)對原始SQL語句進行重寫。主要作用是防止在日誌中出現明文的密碼字符串。比如下面的這個SQL語句中含有密碼,因此將會被rewrite修改。

技術分享圖片

圖2

最終日誌中的SQL信息如下,其中的密碼字符串顯示為<secret>。

技術分享圖片

圖3

MySQL不會對所有的SQL進行rewrite,只會對涉及明文密碼的SQL進行重寫,還有一類比較特殊的SQL也會進行重寫。這個工作是在mysql_rewrite_query()函數中執行的。mysql_rewrite_query()函數大致內容如下:

技術分享圖片

圖4

(4)記錄日誌。如果SQL進行了rewrite,則將rewrite後的SQL語句寫入到日誌中,否則將原始日誌寫入到日誌中。

執行SQL命令。真正執行SQL命令,實際調用mysql_execute_command()函數進行執行。稍後具體介紹這個函數。

2.mysql_execute_command

前面提到了mysql_parse()函數調用了mysql_execute_command()函數來執行SQL命令,現在來看一下這個函數真正完成的工作有哪些。精簡後的代碼框架如下圖所示:

技術分享圖片

圖5

(1)如果存在需要提交的隱式事務,則提交隱式事務。具體來講,MySQL定義了四種可能需要隱式提交事務的SQL命令:

SQLCOM_DROP_TABLE

SQLCOM_ALTER_TABLE

SQLCOM_CREATE_TABLE

SQLCOM_SET_OPTION

在stmt_causes_implicit_commit()這個函數中做了是否需要隱式提交事務的判斷。

(i)對於SQLCOM_CREATE_TABLE和SQLCOM_ALTER_TABLE命令,並不是都需要隱式提交事務,對於創建和修改臨時表則不需要隱式提交事務。

(ii)對於SQLCOM_SET_OPTION命令,只有執行set autocommit=1時,則需要隱式提交事務,對於其他的SET命令,則不需要。

(iii)對於SQLCOM_DROP_TABLE命令,當刪除一個臨時表時,也不需要隱式提交事務。

隱式提交的執行是在trans_commit_implicit()函數中進行的。

(2)隱式提交一個事務不會自動釋放已經存在的表鎖,在mysql_execute_command()中還調用release_transactional_locks()函數執行了釋放元數據鎖的操作。元數據鎖工作在MySQL 的Server層,跟Innodb 存儲引擎層的記錄鎖、間隙鎖以及下一鍵鎖(next-key lock)這些鎖相比,元數據鎖是完全不同的概念,MySQL的表鎖就是一種元數據鎖,也可以細分為N種類型,在此不詳細展開了。

(3)根據不同的SQL命令,執行不同的操作。包括創建和刪除數據庫,創建和刪除表,數據的增刪改查,以及其它很多的SQL命令。全部的SQL命令的ID在enum_sql_command中定義,後文將列出全部的SQL命令ID。

(4)關閉當前打開的所有表。這個關閉的操作時在close_thread_tables()函數中進行的。這個函數所做的工作如下圖所示:

技術分享圖片

圖6

如果當前語句處在自動提交事務中,則自動提交隱式事務。SQL命令執行之後的隱式提交條件的判斷條件跟執行之前的判斷條件在細微處可能相同,也可能不同。不同之處主要是涉及到一個全局數組變量:

技術分享圖片

圖7

這個變量在init_update_queries()這個函數中做了初始化操作,基本上屬於每個SQL命令ID有一個對應的標誌。

前面介紹的判斷函數stmt_causes_implicit_commit()在最前面還有以下這個判斷:

技術分享圖片

圖8

意思是說,如果mask標誌沒有包含在命令ID對應的標誌位掩碼中,就認為不需要隱式提交,這個判斷確定不需要隱式提交後,就不會再進行前面介紹的臨時表相關的判斷了。只有這個mask標誌符合數組中指定的標誌位掩碼時,才會繼續進行後面的臨時表相關判斷。

前面介紹的SQLCOM_CREATE_TABLE就使用了下面這個標誌,說明CREATE TABLE命令不管在SQL命令之前還是執行後,判斷是相同的。

技術分享圖片

圖9

從當前的MySQL源代碼來看,前面提到的四個SQL命令都使用了CF_AUTO_COMMIT_TRANS這個標誌位,因此都是在執行前後均需要繼續判斷。

3.SQL命令的ID

SQL命令的ID,在enum_sql_command中定義了。基本上根據ID的名字就能猜測出這個SQL語句的用途,因此本文不會具體介紹每個SQL命令的用途。這裏的SQL命令的ID,和前面博客中介紹的命令交互中的命令的種類,是兩個不同層次的概念。前文提出的命令的種類,是高層命令,這裏的SQL命令的ID,是低層命令,更為具體。這裏列出的所有ID,在命令的種類這個高層次上,都屬於一種類型:COM_QUERY。

enum enum_sql_command {

SQLCOM_SELECT,

SQLCOM_CREATE_TABLE,

SQLCOM_CREATE_INDEX,

SQLCOM_ALTER_TABLE,

SQLCOM_UPDATE,

SQLCOM_INSERT,

SQLCOM_INSERT_SELECT,

SQLCOM_DELETE,

SQLCOM_TRUNCATE,

SQLCOM_DROP_TABLE,

SQLCOM_DROP_INDEX,

SQLCOM_SHOW_DATABASES,

SQLCOM_SHOW_TABLES,

SQLCOM_SHOW_FIELDS,

SQLCOM_SHOW_KEYS,

SQLCOM_SHOW_VARIABLES,

SQLCOM_SHOW_STATUS,

SQLCOM_SHOW_ENGINE_LOGS,

SQLCOM_SHOW_ENGINE_STATUS,

SQLCOM_SHOW_ENGINE_MUTEX,

SQLCOM_SHOW_PROCESSLIST,

SQLCOM_SHOW_MASTER_STAT,

SQLCOM_SHOW_SLAVE_STAT,

SQLCOM_SHOW_GRANTS,

SQLCOM_SHOW_CREATE,

SQLCOM_SHOW_CHARSETS,

SQLCOM_SHOW_COLLATIONS,

SQLCOM_SHOW_CREATE_DB,

SQLCOM_SHOW_TABLE_STATUS,

SQLCOM_SHOW_TRIGGERS,

SQLCOM_LOAD,

SQLCOM_SET_OPTION,

SQLCOM_LOCK_TABLES,

SQLCOM_UNLOCK_TABLES,

SQLCOM_GRANT,

SQLCOM_CHANGE_DB,

SQLCOM_CREATE_DB,

SQLCOM_DROP_DB,

SQLCOM_ALTER_DB,

SQLCOM_REPAIR,

SQLCOM_REPLACE,

SQLCOM_REPLACE_SELECT,

SQLCOM_CREATE_FUNCTION,

SQLCOM_DROP_FUNCTION,

SQLCOM_REVOKE,

SQLCOM_OPTIMIZE,

SQLCOM_CHECK,

SQLCOM_ASSIGN_TO_KEYCACHE,

SQLCOM_PRELOAD_KEYS,

SQLCOM_FLUSH,

SQLCOM_KILL,

SQLCOM_ANALYZE,

SQLCOM_ROLLBACK,

SQLCOM_ROLLBACK_TO_SAVEPOINT,

SQLCOM_COMMIT,

SQLCOM_SAVEPOINT,

SQLCOM_RELEASE_SAVEPOINT,

SQLCOM_SLAVE_START,

SQLCOM_SLAVE_STOP,

SQLCOM_START_GROUP_REPLICATION,

SQLCOM_STOP_GROUP_REPLICATION,

SQLCOM_BEGIN,

SQLCOM_CHANGE_MASTER,

SQLCOM_CHANGE_REPLICATION_FILTER,

SQLCOM_RENAME_TABLE,

SQLCOM_RESET,

SQLCOM_PURGE,

SQLCOM_PURGE_BEFORE,

SQLCOM_SHOW_BINLOGS,

SQLCOM_SHOW_OPEN_TABLES,

SQLCOM_HA_OPEN,

SQLCOM_HA_CLOSE,

SQLCOM_HA_READ,

SQLCOM_SHOW_SLAVE_HOSTS,

SQLCOM_DELETE_MULTI,

SQLCOM_UPDATE_MULTI,

SQLCOM_SHOW_BINLOG_EVENTS,

SQLCOM_DO,

SQLCOM_SHOW_WARNS,

SQLCOM_EMPTY_QUERY,

SQLCOM_SHOW_ERRORS,

SQLCOM_SHOW_STORAGE_ENGINES,

SQLCOM_SHOW_PRIVILEGES,

SQLCOM_HELP,

SQLCOM_CREATE_USER,

SQLCOM_DROP_USER,

SQLCOM_RENAME_USER,

SQLCOM_REVOKE_ALL,

SQLCOM_CHECKSUM,

SQLCOM_CREATE_PROCEDURE,

SQLCOM_CREATE_SPFUNCTION,

SQLCOM_CALL,

SQLCOM_DROP_PROCEDURE,

SQLCOM_ALTER_PROCEDURE,

SQLCOM_ALTER_FUNCTION,

SQLCOM_SHOW_CREATE_PROC,

SQLCOM_SHOW_CREATE_FUNC,

SQLCOM_SHOW_STATUS_PROC,

SQLCOM_SHOW_STATUS_FUNC,

SQLCOM_PREPARE,

SQLCOM_EXECUTE,

SQLCOM_DEALLOCATE_PREPARE,

SQLCOM_CREATE_VIEW,

SQLCOM_DROP_VIEW,

SQLCOM_CREATE_TRIGGER,

SQLCOM_DROP_TRIGGER,

SQLCOM_XA_START,

SQLCOM_XA_END,

SQLCOM_XA_PREPARE,

SQLCOM_XA_COMMIT,

SQLCOM_XA_ROLLBACK,

SQLCOM_XA_RECOVER,

SQLCOM_SHOW_PROC_CODE,

SQLCOM_SHOW_FUNC_CODE,

SQLCOM_ALTER_TABLESPACE,

SQLCOM_INSTALL_PLUGIN,

SQLCOM_UNINSTALL_PLUGIN,

SQLCOM_BINLOG_BASE64_EVENT,

SQLCOM_SHOW_PLUGINS,

SQLCOM_CREATE_SERVER,

SQLCOM_DROP_SERVER,

SQLCOM_ALTER_SERVER,

SQLCOM_CREATE_EVENT,

SQLCOM_ALTER_EVENT,

SQLCOM_DROP_EVENT,

SQLCOM_SHOW_CREATE_EVENT,

SQLCOM_SHOW_EVENTS,

SQLCOM_SHOW_CREATE_TRIGGER,

SQLCOM_ALTER_DB_UPGRADE,

SQLCOM_SHOW_PROFILE,

SQLCOM_SHOW_PROFILES,

SQLCOM_SIGNAL,

SQLCOM_RESIGNAL,

SQLCOM_SHOW_RELAYLOG_EVENTS,

SQLCOM_GET_DIAGNOSTICS,

SQLCOM_ALTER_USER,

SQLCOM_EXPLAIN_OTHER,

SQLCOM_SHOW_CREATE_USER,

SQLCOM_SHUTDOWN,

SQLCOM_ALTER_INSTANCE,

SQLCOM_END

};

4.總結

SQL語句的總體執行流程就是這樣的。本文關註的主要問題是SQL語句的執行過程的總體流程,因此分析到mysql_execute_command()函數這一層就足夠了。再往更低層次分析,就涉及到具體的SQL語句的類型的區分了,比如SELECT語句肯定和INSERT語句的具體執行過程是不同的。這種細分顯然並不是本文需要關註的主體內容。

至於具體的一個SQL語句在更低級的層次上是如何執行的細節問題,以後有機會再對MySQL服務器的源碼做進一步的探索。

本人技術博客網址:

https://www.cnblogs.com/coe2coe/

其中可以找到MySQL源碼探索系列博客和MySQL其它系列博客,以及其它相關的技術系列的博客。

MySQL源碼探索02SQL命令總體執行流程