1. 程式人生 > 資料庫 >小米正式開源 SQL 智慧優化與改寫工具 SOAR

小米正式開源 SQL 智慧優化與改寫工具 SOAR

近日,小米正式宣佈開源 SOAR。

截至今日,該專案已經獲得了 350 個「star」以及 44 個「fork」(GitHub專案地址:https://github.com/XiaoMi/soar)

SOAR 簡介

SOAR,即 SQL Optimizer And Rewriter,是一款 SQL 智慧優化與改寫工具,由小米運維 DBA 團隊出品

SOAR 體系架構

SOAR主要由語法解析器,整合環境,優化建議,重寫邏輯,工具集五大模組組成。

語法解析和語法檢查

一條SQL從檔案,標準輸入或命令列引數等形式傳遞給SOAR後首先進入語法解析器,選用了vitess的語法解析庫作為SOAR的語法解析庫,但隨時需求的不斷增加我們發現有些複雜需求使用vitess的語法解析實現起來比較邏輯比較複雜。於是參考業辦其他資料庫產品,於是引入了TiDB的語法解析器做為補充。後來發現這兩個解析庫還存在一定的盲區,於是又引入了MySQL執行返回結果作為多多版本SQL方言的補充。大家也可以看到在語法解析器這裡,SOAR的實現方案是鬆散的、可插拔的。SOAR並不直接維護龐大的語法解析庫,它把各種優秀的語法解析庫整合在一起,各取所長。

整合環境

整合環境區分線上環境和測試環境兩種,分別用於解決不同場景下使用者的SQL優化需求。一種常見的情況是已有表結構需要優化查詢SQL的場景,可以從線上環境匯出表結構和足夠的取樣資料到測試環境,在測試環境上就可以放心的執行各種高危操作而不用擔心資料被損壞。另一種常見的情況是建一套全新的資料庫,需要驗證提供的資料字典中是否存在優化的可能。對於這種情況,很有可能你不需要知道線上環境在哪兒,完全只是想先試試看,如果報錯了馬上改對就是了。當然還有更多種組合的場景需求,將在整合環境一單分類說明。

優化建議

目前SOAR可以提供的優化建議有基於啟發式規則(通常也稱之為經驗)的優化建議,基於索引優化演算法給出的索引優化建議,以及基於EXPLAIN資訊給出的解讀。

重寫邏輯

上面提到的優化建議是早期實現的主要功能,早期的功能還只是停留在建議上,對於一些初級使用者看到建議也不一定會改寫。為了進一步簡化SQL優化的成本,SOAR又進一步挖掘了自動SQL重寫的功能。現在提供幾十種常見場景下的SQL等價轉寫,不過相比SQL優化建議還有很大的改進空間。這部分的功能和邏輯將在重寫邏輯一章中詳細說明。

工具集

除了SQL優化和改寫以外,為了方便使用者使用以及美化輸出展現形式,SOAR還提供了一些輔助的小工具,比如markdown轉HTML工具,SQL格式化輸出工具等等。你可以在常用命令中找到這些小工具的使用方法。

SOAR 功能特點

SOAR的功能特點如下:

● 跨平臺支援(支援Linux,Mac環境,Windows環境理論上也支援,不過未全面測試)

● 支援基於啟發式演算法的語句優化
● 支援複雜查詢的多列索引優化(UPDATE,INSERT,DELETE,SELECT)
● 支援EXPLAIN資訊豐富解讀
● 支援SQL指紋、壓縮和美化
● 支援同一張表多條ALTER請求合併
● 支援自定義規則的SQL改寫

此外,小米的SOAR與業內其他優秀產品對比,也有著非常大的優勢: