## 一、概述 dba在工作中避不開的兩個問題，sql使用繫結變數到底會有多少的效能提升？資料庫的審計功能如果開啟對資料庫的效能會產生多大的影響？最近恰好都碰到了，索性做個實驗。 1. sql使用繫結變數對效能的影響 2. 開通資料庫審計功能對效能的影響 實驗採用的辦法很簡單，就是通過python讀取csv檔案，然後將其匯入到資料庫中，最後統計程式執行完成所需要的時間 ## 二、準備指令碼 python指令碼dataimporttest.py ``` # author: yangbao # function: 通過匯入csv，測試資料庫效能 import cx_Oracle import time # 資料庫連線串 DATABASE_URL = 'user/password@ip:1521/servicename' class CsvDataImport: def __init__(self, use_bind): self.csv_name = 'test.csv' self.use_bind = use_bind if use_bind == 1: self.insert_sql = "insert into testtb values(:0, " \ "to_date(:1,'yyyy-mm-dd hh24:mi:ss'), " \ "to_date(:2,'yyyy-mm-dd hh24:mi:ss'), " \ ":3, :4, :5, :6, :7, :8, :9, :10, :11, :12, :13, :14, " \ ":15, :16, :17, :18, :19, :20, :21)" # 使用繫結變數的sql else: self.insert_sql = "insert into testtb values({0}, " \ "to_date('{1}','yyyy-mm-dd hh24:mi:ss'), " \ "to_date('{2}','yyyy-mm-dd hh24:mi:ss'), " \ "{3}, {4}, '{5}', {6}, '{7}', {8}, {9}, {10}, {11}, {12}, {13}, {14}, " \ "{15}, {16}, {17}, {18}, {19}, {20}, {21})" # 不使用繫結變數的sql def data_import(self): begin_time = time.perf_counter() try: conn = cx_Oracle.connect(DATABASE_URL) curs = conn.cursor() with open(self.csv_name) as f: csv_contents = f.readlines() import_rows = 0 message = '{} start to import'.format(self.csv_name) print(message) for line, csv_content in enumerate(csv_contents[1:]): data = csv_content.split(',') if self.use_bind == 1: data = map(lambda x: None if x == '' else x, data) else: data = map(lambda x: 'null' if x == '' else x, data) data = list(data) data[-1] = data[-1].replace('\n', '') if self.use_bind == 1: curs.execute(self.insert_sql, data) # 使用繫結變數的方式插入資料 else: # print(self.insert_sql.format(*data)) curs.execute(self.insert_sql.format(*data)) # 使用非繫結變數的方式插入資料 import_rows += 1 if import_rows % 10000 == 0: curs.execute('commit') message = '{} has imported {} lines'.format(self.csv_name, import_rows) print(message) conn.commit() curs.close() conn.close() end_time = time.perf_counter() elapsed = round(end_time - begin_time, 2) message = '{}, import rows: {}, use_bind: {}, elapsed: {}'.format( self.csv_name, import_rows, self.use_bind, elapsed) print(message) except Exception as e: message = '{} import failed, reason: {}'.format(self.csv_name, str(e)) print(message) if __name__ == '__main__': CsvDataImport(use_bind=1).data_import() ``` csv檔案 test.csv(內容略) ## 三、測試sql使用繫結變數對效能的影響 ### a. 使用繫結變數 對庫進行重啟，目的是清空資料庫內的所有快取，避免對實驗結果產生干擾 ``` SQL> startup force; SQL> drop table yang.testtb purge; SQL> create table yang.testtb as select * from yang.test where 1=0; ``` 執行指令碼python dataimporttest.py 結果：test.csv, import rows: 227795, use_bind: 1, elapsed: **260.31** ### b. 不使用繫結變數 對庫進行重啟 ``` SQL> startup force; SQL> drop table yang.testtb purge; SQL> create table yang.testtb as select * from yang.test where 1=0; ``` 將指令碼的最後一行CsvDataImport(use_bind=1).data_import()改為CsvDataImport(use_bind=0).data_import() 執行指令碼python dataimporttest.py 結果：test.csv, import rows: 227795, use_bind: 0, elapsed: **662.82** **可以看到同樣的條件下，程式執行的時間，不使用繫結變數是使用繫結變數的2.54倍** ## 四、測試資料庫開啟審計功能對效能的影響 檢視資料庫審計功能是否開啟 ``` SQL> show parameter audit NAME TYPE VALUE -------------- ----------- ---------- audit_trail string NONE ``` 統計sys.aud$這張表的行數 ``` SQL> select count(*) from sys.aud$; COUNT(*) ---------- 0 ``` 所以可以直接拿第三步中的（a. 使用繫結變數）的結果作為沒開通審計功能程式執行的時間 對庫開通審計功能，並進行重啟 ``` SQL> alter system set audit_trail=db_extended scope=spfile; # 如果設定成db，那麼在sys.aud$裡面sqltext將為空，也就是說看不到使用者執行的sql語句，審計毫無意義 SQL> startup force; SQL> drop table yang.testtb purge; SQL> create table yang.testtb as select * from yang.test where 1=0; SQL> audit insert table by yang; # 開通對使用者yang的insert操作審計 ``` 將指令碼的最後一行CsvDataImport(use_bind=0).data_import()改為CsvDataImport(use_bind=1).data_import() 執行指令碼python dataimporttest.py 結果：test.csv, import rows: 227795, use_bind: 1, elapsed: **604.23** **與前面使用繫結變數但沒有開通資料庫審計功能，程式執行的時間，開通資料庫審計功能是不開通資料庫審計功能的2.32倍** 再來看看sys.aud$這張表的大小 ``` SQL> select count(*) from sys.aud$; COUNT(*) ---------- 227798 ``` 因sys.aud$這張表中的sqltext與sqlbind都是clob欄位，因此需要通過下面的sql去統計該表所佔用的空間 ``` SQL> select sum(bytes) from dba_extents where segment_name in ( select distinct name from (select table_name, segment_name from dba_lobs where table_name='AUD$') unpivot(name for i in(table_name, segment_name))); SUM(BYTES) ---------- 369229824 ``` 檢視testtb這張表佔用的空間 ``` SQL> select sum(bytes) from dba_extents where segment_name in ('TESTTB'); SUM(BYTES) ---------- 37748736 ``` 可以看到對一個22萬行的csv資料匯入到資料庫，審計的表佔用的空間就達到了驚人的360M，而testtb這張表本身也才37M而已 通過上面的實驗可以得出，對於資料庫的審計功能，開通後會嚴重拖慢資料庫的效能以及消耗sysaux表空間！ ## 五、總結 1. 程式碼中儘量使用繫結變數 2. 最好不要開通資料庫的審計，可以通過堡壘機去實現對使用者操作審計（ps：還請大家推薦個堡壘機廠商，這個才是本文最主要的目的^_^） 實驗存在不嚴謹的地方，相關對比資料也僅作