編輯手記：在 DBA 所優化的資料庫環境中，絕大多數效能問題其實是由於 SQL 編寫不當導致的。SQL 的世界無奇不有，今天我們一起見識一條讓你絕對想吐血的殺手SQL。

某保險客戶，ETL 耗時數個小時，我們做了sql report發現壓力主要在其中一個SQL上。

單次執行時間：5788(秒)

單次邏輯讀：10億(塊)

單次返回行數:21萬(行)

我們首先看SQL語句，因為比較長，此處只節選部分的

檢視其執行計劃：

我們主要關注一下從7到16行：發現存在兩次全表掃描。中間做了一次filter。

多年的經驗告訴我，兩個全表掃組成的Filter ，問題很嚴重, 因為涉及資料逐條處理。 而這個執行計劃裡，被驅動表還是全表掃。

Not In/In 操作有時候的確會產生 Filter操作，在11g之前的版本，要把not in 語句轉換成反連線，not in條件的列必須有Not null 屬性,或者語句中帶入了not null的限制，否則只能採用Filter，逐條過濾.

我們舉例說明一下：

檢視T_OBJ的屬性：

發現有在三列上都沒有not null的限制。

我們此時偽裝成10G的優化器。

SQL> alter session set optimizer_features_enable=”10.2.0.5″;

執行以下SQL：

SQL> set autotracetrace exp

SQL> SELECT * FROM T_TABLE WHERE TABLE_NAME NOT IN(SELECT OBJECT_NAME FROM T_OBJ);

此時檢視執行計劃，我們發現走的是filter：

但在11g版本中，優化器可以自動把Not in操作從昂貴的Filter轉換成Null-Aware-Anti-Join。

若加個Not null 條件或者欄位屬性設為not null

SQL> alter table T_OBJ modify(OBJECT_NAME NOT NULL);

再次執行相同語句：

SQL> SELECT * FROM T_TABLE  WHERE TABLE_NAME

NOT IN(SELECT OBJECT_NAME FROM T_OBJ

WHEREOBJECT_NAME IS NOT NULL);

再次檢視執行計劃：

此時我們發現，在執行計劃中，走了hash join anti.

並且，在11g裡面，允許not in列沒有not null 限制也可以轉換Anti-Join.

SQL> alter session set optimizer_features_enable=”11.2.0.4″;

SQL> alter table T_OBJ modify(OBJECT_NAME NULL);

SQ>  SELECT * FROM T_TABLE  WHERE TABLE_NAME

NOT IN (SELECTOBJECT_NAMEFROM T_OBJ);

檢視執行計劃：

我們看到，此時在沒有非空限制的情況下，也走了hash join anti.

這個特性, 可通過優化器引數控制。

SQL>alter session set “_optimizer_null_aware_antijoin”=FALSE;

再次執行以上語句並檢視執行計劃：

SQL>  SELECT * FROM T_TABLE  WHERE TABLE_NAME

NOT IN (SELECTOBJECT_NAMEFROM T_OBJ);

發現仍然走的是hash join anti.

經過驗證，不是這個引數設定問題

Not in 的邏輯，就是結果集之間的互斥，其實有多種改寫的方式，比如：

— Not exists

— Outer Join + is null

— Minus

not in與以上三種寫法的區別是：not in 是會排斥空值。

我們嘗試改寫。

接下來正當你以為會發生奇蹟的時候，語句報錯了！

為什麼會報錯呢？

如果我們把該語句轉換為not in的方式：

根據not in的邏輯，此時在fee_code前應該加上’A.’，當然這也是沒有問題的，但是，再次看這條語句就會變成：

由於TMP_APP_xxx_PREM A 中並沒有FEE_CODE欄位, 所以，Not in 無法自動改成Null Aware ANTI JOIN。

所以，至此答案揭曉，竟然是寫錯了？！我猜中了這開頭，卻沒有猜中這結局。

但在本案例中，由於SQL語句中沒有顯式寫出表明，導致在前期分析過程中一直沒有發現這個錯誤。

你是不是也很無語，其實我更想問的是，你是不是也經常寫出殺手SQL呢，但沒關係，你有病我有藥啊。（無辜臉，不要打我）

我們都知道，在 DBA 所優化的資料庫環境中，絕大多數效能問題其實是由於 SQL 編寫不當導致的。

對於未上線系統，通過前期的SQL稽核管控，將80%的SQL問題消滅在萌生階段，對於線上執行系統，發現和解決潛在的效能問題，可做到提前預防，防患於未然。

SQL稽核，讓DBA由系統的急救醫生轉身成為系統的保健醫生

1、DBA參與應用程式碼開發測試過程：給開發人員提供專業的資料庫開發及優化建議

2、優化前置：在應用程式碼上線前根據業務需求設計高效的SQL、索引

3、控制變更風險：預先評估應用開發中表結構變更、SQL變更對執行中應用的影響，確定合適的變更視窗，變更方案。

原文來自微信公眾號：資料和雲