2. 程式人生 > >DLA SQL分析函式：SQL語句審計與分析的利器

DLA SQL分析函式：SQL語句審計與分析的利器

阿新 • • 發佈：2019-04-23

1. 簡介

Data Lake Analytics最新release一組SQL內建函式，用來進行SQL語句的分析、資訊提取，方便使用者對SQL語句進行語法層面的審計、分析，可以應用於很多安全、資料庫日誌分析等場景。參考DLA（Data Lake Analytics）之前的文件，只要您的SQL語句文字儲存在DLA支援的資料來源系統中，就能使用DLA的SQL分析函式，方便、快捷的進行SQL語句的審計和分析，或者基於此構建相關應用程式和系統。

前提條件，您的SQL語句文字已經作為一個字串、文字欄位儲存在DLA支援的資料來源中，或者在統一格式的日誌檔案中，日誌檔案放到OSS中（應用自己上傳、開源日誌工具上傳、日誌服務投遞、Datahub投遞等），然後採用DLA進行SQL分析。

 

2. SQL分析函式詳解

所有提供的SQL分析函式都是scalar標量函式。SQL分析函式支援多種SQL方言，預設SQL方言是mysql。

SQL方言
mysql
postgresql
oracle
db2
sqlserver
hive
odps

支援的函式列表：

Name Description
sql_export_columns 提取SQL語句中所有出現的列
sql_export_functions 提取SQL語句中所有出現的函式
sql_export_predicate_columns 提取SQL語句中所有出現的謂詞條件表示式涉及的列
sql_export_predicates 提取SQL語句中所有出現的謂詞條件表示式
sql_export_select_list_columns 提取SQL語句中SELECT子句表示式中出現的列（包括子查詢）
sql_export_tables 提取SQL語句中所有出現的表
sql_format 對SQL語句進行格式化
sql_params 提取SQL語句中所有的literal值
sql_pattern 提取SQL語句引數化後的SQL pattern，literal用?代替
sql_pattern_hash 提取sqlText的SQL語句引數化後的SQL pattern，並生成hash值
sql_syntax_check 對sqlText進行語法檢查

 

2.1 sql_export_columns

函式呼叫形式：

  • sql_export_columns(sqlText)
  • sql_export_columns(sqlText, dbType)
  • sql_export_columns(sqlText, dbType, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
VARCHAR sqlText的SQL語句中所有出現的列，用逗號分隔，列所屬的表會進行關聯推導，如果沒有找到明確的表，則為UNKNOWN

示例：

SELECT sql_export_columns(a.sql_text)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| sql_export_columns(a.sql_text)                                                                                                                                                                                                                                                                                                                  |
+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| UNKNOWN.s_acctbal,UNKNOWN.s_name,UNKNOWN.n_name,UNKNOWN.p_partkey,UNKNOWN.p_mfgr,UNKNOWN.s_address,UNKNOWN.s_phone,UNKNOWN.s_comment,UNKNOWN.ps_partkey,UNKNOWN.s_suppkey,UNKNOWN.ps_suppkey,UNKNOWN.p_size,UNKNOWN.p_type,UNKNOWN.s_nationkey,UNKNOWN.n_nationkey,UNKNOWN.n_regionkey,UNKNOWN.r_regionkey,UNKNOWN.r_name,UNKNOWN.ps_supplycost |
+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

 

 

2.2 sql_export_functions

函式呼叫形式：

  • sql_export_functions(sqlText)
  • sql_export_functions(sqlText, dbType)
  • sql_export_functions(sqlText, dbType, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
VARCHAR sqlText的SQL語句中所有出現的函式名，用逗號分隔，列所屬的表會進行關聯推導，如果沒有找到明確的表，則為UNKNOWN

示例：

SELECT sql_export_functions(a.sql_text)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+----------------------------------+
| sql_export_functions(a.sql_text) |
+----------------------------------+
| min                              |
+----------------------------------+

 

2.3 sql_export_predicate_columns

函式呼叫形式：

  • sql_export_predicate_columns(sqlText)
  • sql_export_predicate_columns(sqlText, dbType)
  • sql_export_predicate_columns(sqlText, dbType, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
VARCHAR sqlText的SQL語句中出現在謂詞條件表示式中的列名，用逗號分隔，列所屬的表會進行關聯推導，如果沒有找到明確的表，則為UNKNOWN

示例：

SELECT sql_export_predicate_columns(a.sql_text)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| sql_export_predicate_columns(a.sql_text)                                                                                                                                                                                     |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| UNKNOWN.p_partkey,UNKNOWN.ps_partkey,UNKNOWN.s_suppkey,UNKNOWN.ps_suppkey,UNKNOWN.p_size,UNKNOWN.p_type,UNKNOWN.s_nationkey,UNKNOWN.n_nationkey,UNKNOWN.n_regionkey,UNKNOWN.r_regionkey,UNKNOWN.r_name,UNKNOWN.ps_supplycost |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

 

2.4 sql_export_predicates

函式呼叫形式：

  • sql_export_predicates(sqlText)
  • sql_export_predicates(sqlText, dbType)
  • sql_export_predicates(sqlText, dbType, compactValues)
  • sql_export_predicates(sqlText, dbType, compactValues, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
compactValues BOOLEAN 可選。true時，謂詞條件中值以陣列的形式出現在返回值中
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
VARCHAR sqlText的SQL語句中所有出現的謂詞條件表示式元素陣列，用逗號分隔，列所屬的表會進行關聯推導，如果沒有找到明確的表，則為UNKNOWN

示例：

SELECT sql_export_predicates(a.sql_text, 'mysql', true)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| sql_export_predicates(a.sql_text)                                                                                                                                                                                                                                                                                                                                                                                                                  |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| [["UNKNOWN","p_partkey","=",null],["UNKNOWN","ps_partkey","=",null],["UNKNOWN","s_suppkey","=",null],["UNKNOWN","ps_suppkey","=",null],["UNKNOWN","p_size","=",35],["UNKNOWN","p_type","LIKE","%NICKEL"],["UNKNOWN","s_nationkey","=",null],["UNKNOWN","n_nationkey","=",null],["UNKNOWN","n_regionkey","=",null],["UNKNOWN","r_regionkey","=",null],["UNKNOWN","r_name","=",["MIDDLE EAST","MIDDLE EAST"]],["UNKNOWN","ps_supplycost","IN",null]] |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

 

2.5 sql_export_select_list_columns

函式呼叫形式：

  • sql_export_select_list_columns(sqlText)
  • sql_export_select_list_columns(sqlText, dbType)
  • sql_export_select_list_columns(sqlText, dbType, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
VARCHAR sqlText的SQL語句中SELECT子句返回列中出現的列名列表（包括子查詢），用逗號分隔，列所屬的表會進行關聯推導，如果沒有找到明確的表，則為UNKNOWN

示例：

SELECT sql_export_select_list_columns(a.sql_text)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+------------------------------------------------------------------------------------------------------------------------------------------------------------+
| sql_export_select_list_columns(a.sql_text)                                                                                                                 |
+------------------------------------------------------------------------------------------------------------------------------------------------------------+
| UNKNOWN.s_acctbal,UNKNOWN.s_name,UNKNOWN.n_name,UNKNOWN.p_partkey,UNKNOWN.p_mfgr,UNKNOWN.s_address,UNKNOWN.s_phone,UNKNOWN.s_comment,UNKNOWN.ps_supplycost |
+------------------------------------------------------------------------------------------------------------------------------------------------------------+

 

2.6 sql_export_tables

函式呼叫形式：

  • sql_export_tables(sqlText)
  • sql_export_tables(sqlText, dbType)
  • sql_export_tables(sqlText, dbType, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
VARCHAR sqlText的SQL語句中所有出現的表名，用逗號分隔

示例：

SELECT sql_export_tables(a.sql_text)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+--------------------------------------+
| sql_export_tables(a.sql_text)        |
+--------------------------------------+
| part,supplier,partsupp,nation,region |
+--------------------------------------+

 

2.7 sql_format

函式呼叫形式：

  • sql_format(sqlText)
  • sql_format(sqlText, dbType)
  • sql_format(sqlText, dbType, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
VARCHAR 格式化sqlText的SQL語句

示例：

SELECT sql_format(a.sql_text)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| sql_format(a.sql_text)                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| SELECT s_acctbal, s_name, n_name, p_partkey, p_mfgr
    , s_address, s_phone, s_comment
FROM part, supplier, partsupp, nation, region
WHERE p_partkey = ps_partkey
    AND s_suppkey = ps_suppkey
    AND p_size = 35
    AND p_type LIKE '%NICKEL'
    AND s_nationkey = n_nationkey
    AND n_regionkey = r_regionkey
    AND r_name = 'MIDDLE EAST'
    AND ps_supplycost IN (
        SELECT min(ps_supplycost)
        FROM partsupp, supplier, nation, region
        WHERE s_suppkey = ps_suppkey
            AND s_nationkey = n_nationkey
            AND n_regionkey = r_regionkey
            AND r_name = 'MIDDLE EAST'
    )
ORDER BY s_acctbal DESC, n_name, s_name, p_partkey
LIMIT 100; |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

 

2.8 sql_params

函式呼叫形式：

  • sql_params(sqlText)
  • sql_params(sqlText, dbType)
  • sql_params(sqlText, dbType, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
VARCHAR 提取sqlText的SQL語句中的literal值

示例：

SELECT sql_params(a.sql_text)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+------------------------------------------------+
| sql_params(a.sql_text)                         |
+------------------------------------------------+
| [35,"%NICKEL","MIDDLE EAST","MIDDLE EAST",100] |
+------------------------------------------------+

 

2.10 sql_pattern

函式呼叫形式：

  • sql_pattern(sqlText)
  • sql_pattern(sqlText, dbType)
  • sql_pattern(sqlText, dbType, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
VARCHAR 提取sqlText的SQL語句引數化後的SQL pattern, literal值換成?

示例：

SELECT sql_pattern(a.sql_text)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| sql_pattern(a.sql_text)                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| SELECT s_acctbal, s_name, n_name, p_partkey, p_mfgr
    , s_address, s_phone, s_comment
FROM part, supplier, partsupp, nation, region
WHERE p_partkey = ps_partkey
    AND s_suppkey = ps_suppkey
    AND p_size = ?
    AND p_type LIKE ?
    AND s_nationkey = n_nationkey
    AND n_regionkey = r_regionkey
    AND r_name = ?
    AND ps_supplycost IN (
        SELECT min(ps_supplycost)
        FROM partsupp, supplier, nation, region
        WHERE s_suppkey = ps_suppkey
            AND s_nationkey = n_nationkey
            AND n_regionkey = r_regionkey
            AND r_name = ?
    )
ORDER BY s_acctbal DESC, n_name, s_name, p_partkey
LIMIT ?; |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

 

2.11 sql_pattern_hash

函式呼叫形式：

  • sql_pattern_hash(sqlText)
  • sql_pattern_hash(sqlText, dbType)
  • sql_pattern_hash(sqlText, dbType, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
VARCHAR 提取sqlText的SQL語句引數化後的SQL pattern，並生成hash值

示例：

SELECT sql_pattern_hash(a.sql_text)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+------------------------------+
| sql_pattern_hash(a.sql_text) |
+------------------------------+
|           925870115679910184 |
+------------------------------+

 

2.12 sql_syntax_check

函式呼叫形式：

  • sql_syntax_check(sqlText)
  • sql_syntax_check(sqlText, dbType)
  • sql_syntax_check(sqlText, dbType, throwError)

引數說明：

引數名 型別 說明
sqlText VARCHAR 必選
dbType VARCHAR 可選。SQL方言，預設為mysql
throwError BOOLEAN 可選。true時，遇到非法SQL丟擲異常；false時，遇到非法SQL不丟擲異常，返回null

返回值:

型別 說明
BOOLEAN 對sqlText進行語法檢查，1表示正確，0表示錯誤

示例：

SELECT sql_syntax_check(a.sql_text)
FROM (
SELECT 'SELECT   s_acctbal, 
         s_name, 
         n_name, 
         p_partkey, 
         p_mfgr, 
         s_address, 
         s_phone, 
         s_comment 
FROM     part, 
         supplier, 
         partsupp, 
         nation, 
         region 
WHERE    p_partkey = ps_partkey 
AND      s_suppkey = ps_suppkey 
AND      p_size = 35 
AND      p_type LIKE ''%NICKEL'' 
AND      s_nationkey = n_nationkey 
AND      n_regionkey = r_regionkey 
AND      r_name = ''MIDDLE EAST'' 
AND      ps_supplycost IN 
         ( 
                SELECT min(ps_supplycost) 
                FROM   partsupp, 
                       supplier, 
                       nation, 
                       region 
                WHERE  s_suppkey = ps_suppkey 
                AND    s_nationkey = n_nationkey 
                AND    n_regionkey = r_regionkey 
                AND    r_name = ''MIDDLE EAST'' ) 
ORDER BY s_acctbal DESC, 
         n_name, 
         s_name, 
         p_partkey 
LIMIT    100;' AS sql_text
) a;


+------------------------------+
| sql_syntax_check(a.sql_text) |
+------------------------------+
|                            1 |
+------------------------------+

原文連結
本文為雲棲社群原創內容，未經

相關推薦

DLA SQL分析函式：SQL語句審計與分析的利器

1. 簡介 Data Lake Analytics最新release一組SQL內建函式，用來進行SQL語句的分析、資訊提取，方

DRDS SQL 審計與分析——全面洞察 SQL 之利器

背景 資料庫儲存著系統的核心資料，其安全方面的問題在傳統環境中已經成為洩漏和被篡改的重要根源。而在雲端，資料庫所面臨的威脅被進一步的放大。因此，對雲資料庫的操作行為尤其是全量 SQL 執行記錄的審計日誌，就顯得尤為重要，是保障雲資料庫安全的最基本要求。那麼針對雲資料庫的 SQL 審計，您是否存在如下疑問：

SQL SUM() 函式、SQL GROUP BY 語句、SQL HAVING 子句

SQL GROUP BY 例項 我們擁有下面這個 "Orders" 表： O_Id OrderDate OrderPrice Customer 1 2008/12/29 1000 Bush 2 2008/11/23 1600 Carter 3 2008/10/05 700 Bush 4 2008/09/28

Oracle基礎之分析函式：佔比計算

下面給大家介紹一個oracle自帶的分析函式ratio_to_report（佔比函式），這個函式作用：簡單來說就是算百分比的。 比如學生成績表中，包含科目和成績，要計算不同科目分數佔比，已經所有科目的分數佔比 進入正題，直接上程式碼，如下： ---刪除表 drop table test001; -

用研關鍵三步驟：問題、方法與分析

感受 於平 常常 整合 class data- 更多 是什麽 空間 用戶研究是以用戶為中心設計流程的第一步，是產品形成良好用戶體驗的基礎。以用戶為中心的用戶研究是產品設計人員理解用戶，將用戶的目標、需求與企業商業目標進行整合的理想方法，能夠幫助企業更好地定義產品，了解用戶的

技術分享：OpenStack DVR部署與分析

network 所有 emc 狀態 是把 oca l3-agent meta 進入 概述 為了提高neutron網絡服務的魯棒性與性能，OpenStack從J版開始正式加入的DVR(Distributed Virtual Router)服務，它將原本集中在網絡節點的部分服務

數據分析入門：如何訓練數據分析思維？

可視化 功能 生活 方便 演講 但是 外部 免費 logs 作者：吳彬彬歡迎訪問網易雲社區，了解更多網易技術產品運營經驗。我們在生活中，會經常聽說兩種推理模式，一種是歸納 一種是演繹，這兩種思維模式能夠幫助數據分析師完成原始的業務邏輯積累，在此基礎上快速定位業務問題，提升分

使用純虛擬函式的一個小細節——派生類定義該虛擬函式時宣告語句必須與基類裡完全一致

純虛擬函式在派生類裡明明補寫出來了定義，但是實際發現是無效的，派生類因沒有定義該純虛擬函式同樣被編譯器視為了抽象類。 原因很有可能是：基類和派生類的虛擬函式必須型別、名字、引數數量、名字、型別、以及函式前後綴的各種其他屬性（比如const等）必須完全一致！否則會被認為不是同

大資料篇：Elasticsearch分散式搜尋與分析引擎

Elasticsearch簡介 Elasticsearch是一個實時的分散式搜尋和分析引擎。它可以幫助你用前所未有的速度去處理大規模資料。 它可以用於全文搜尋，結構化搜尋以及分析，當然你也可以將這三者進行組合。 Elasticsearch是一個建立在全文搜尋引擎 Apa

記憶體管理分析之一：Linux程序空間與虛擬地址的好處

使用虛擬地址的好處現代作業系統使用了虛擬地址的方式管理各個程序對記憶體的使用，這使得應用層程式設計方便、安全，主要體現在如下方面：1，  讓每個程序擁有了相同的、獨立記憶體空間，相互之間不會干擾2，  讀寫記憶體更安全。由於系統和MMU的限制，使得程序無法操作到其他程序的資料

u-boot_smdkv210 分析二：啟動程式碼start.s分析

1.連結檔案 . = 0x00000000; . = ALIGN(4); .text      : {   cpu/s5pc11x/start.o    (.text)   cpu/s5pc11x/s5pc110/cpu_init.o  (.text) 又連結檔案可知，首先啟動的是start.o，現在從st

OpenStack Neutron (1)：外部網路建立與分析

OpenStack中建立的instance想要訪問外網必須要建立外部網路（即provider network），然後通過虛擬路由器的連線實現。Neutron是通過網橋的方式實現外網的訪問，在建立外部網路之前檢視網路配置情況：[email protected]:~#

文法分析小結：自底向上的分析方法和自頂向下的分析方法有哪些

首先注意一點：無論是那種語法分析，語法都是從左至右的讀入符號！ 自底向上分析法，也稱移進-歸約分析法。 它的實現思想是對輸入符號串自左向右進行掃描，並將輸入符逐個移入一個後進先出棧中，邊移入邊分析，一旦棧頂符號串形成某個句型的控制代碼時，(該控制代碼對應某產生式的右部)，就

SpringMVC原始碼分析2：SpringMVC設計理念與DispatcherServlet

轉自：https://my.oschina.net/lichhao/blog SpringMVC簡介 SpringMVC作為Struts2之後異軍突起的一個表現層框架，正越來越流行，相信javaee的開發者們就算沒使用過SpringMVC，也應該對其略有耳聞。我試圖通過對SpringMVC的設計思想和原始碼實

JVM探祕：GC日誌收集與分析

本系列筆記主要基於《深入理解Java虛擬機器：JVM高階特性與最佳實踐 第2版》，是這本書的讀書筆記。 收集GC日誌 不同的垃圾收集器，輸出的日誌格式各不相同，但也有一些相同的特徵。熟悉各個常用垃圾收集器的GC日誌，是進行JVM調優的必備一步。 解析GC日誌，首先需要收集日誌，常用的有以下JVM引數用來列

Python正則表示式 re.sub()函式：標誌位flags與引數個數問題

這兩天在寫爬蟲程式，涉及英文文字處理，需要規範化英文標點符號的寫法。正常情況下，英文句號「.」後面需要保證有且只有一個空格，但也有例外情況，比如「i.e.」、「e.g.」、「P.S.」這種。由於無法預測大小寫，因此在正則表示式中使用了「標誌位」flags，卻死活不生效。 一開始，我的函式是這樣寫的： 1 d

MySQL全面瓦解3：資料型別介紹與分析

概述 MySQL支援很多資料型別，以便我們能在複雜的業務場景中支援各種各樣的資料格式，儲存適當的資料內容。我們在設計資料庫時，正確的使用資料庫型別對整個資料庫的整潔和高效，會有很大的幫助。 目前常用的資料型別大致上可以分為4大類：整數型別、浮點數型別、字串(字元)型別、日期/時間型別。詳細如下 4大類

大資料實戰：基於Spark SQL統計分析函式求分組TopN

做大資料分析時，經常遇到求分組TopN的問題，如：求每一學科成績前5的學生；求今日頭條各個領域指數Top 30%的頭條號等等。Spark SQL提供了四個排名相關的統計分析函式： dense_rank() 返回分割槽內每一行的排名，排名是連續的。 rank() 返回分割槽

[Oracle]高效的SQL語句之分析函式(一)--sum()

select deptno,       ename,       sal,　　--按照部門薪水累加（order by改變了分析函式的作用，只工作在當前行和前一行，而不是所有行）sum(sal) over (partition by deptno orderby sal) CumDeptTot,       

SQL語句：基礎語句和高階函式學習總結

基本查詢語句：（基礎、重要）          1、distinct  select distinct 列名 from 表名   去重，查詢不同的資料時。          2、where   select 列名 from 表名 where 運算子 值  限制查詢條件