一、概述

dba在工作中避不開的兩個問題，sql使用繫結變數到底會有多少的效能提升？資料庫的審計功能如果開啟對資料庫的效能會產生多大的影響？最近恰好都碰到了，索性做個實驗。

1. sql使用繫結變數對效能的影響
2. 開通資料庫審計功能對效能的影響

實驗採用的辦法很簡單，就是通過python讀取csv檔案，然後將其匯入到資料庫中，最後統計程式執行完成所需要的時間

二、準備指令碼

python指令碼dataimporttest.py

# author: yangbao
# function: 通過匯入csv，測試資料庫效能

import cx_Oracle
import time


# 資料庫連線串
DATABASE_URL = 'user/password@ip:1521/servicename'


class CsvDataImport:

 def __init__(self,use_bind):
  self.csv_name = 'test.csv'
  self.use_bind = use_bind
  if use_bind == 1:
   self.insert_sql = "insert into testtb values(:0," \
        "to_date(:1,'yyyy-mm-dd hh24:mi:ss')," \
        "to_date(:2," \
        ":3,:4,:5,:6,:7,:8,:9,:10,:11,:12,:13,:14," \
        ":15,:16,:17,:18,:19,:20,:21)" # 使用繫結變數的sql
  else:
   self.insert_sql = "insert into testtb values({0}," \
        "to_date('{1}'," \
        "to_date('{2}'," \
        "{3},{4},'{5}',{6},'{7}',{8},{9},{10},{11},{12},{13},{14}," \
        "{15},{16},{17},{18},{19},{20},{21})" # 不使用繫結變數的sql

 def data_import(self):

   begin_time = time.perf_counter()

   try:
    conn = cx_Oracle.connect(DATABASE_URL)
    curs = conn.cursor()

    with open(self.csv_name) as f:
     csv_contents = f.readlines()

    import_rows = 0

    message = '{} start to import'.format(self.csv_name)
    print(message)

    for line,csv_content in enumerate(csv_contents[1:]):

     data = csv_content.split(',')
     if self.use_bind == 1:
      data = map(lambda x: None if x == '' else x,data)
     else:
      data = map(lambda x: 'null' if x == '' else x,data)
     data = list(data)
     data[-1] = data[-1].replace('\n','')

     if self.use_bind == 1:
      curs.execute(self.insert_sql,data) # 使用繫結變數的方式插入資料
     else:
      # print(self.insert_sql.format(*data))
      curs.execute(self.insert_sql.format(*data)) # 使用非繫結變數的方式插入資料
     import_rows += 1
     if import_rows % 10000 == 0:
      curs.execute('commit')
      message = '{} has imported {} lines'.format(self.csv_name,import_rows)
      print(message)

    conn.commit()
    curs.close()
    conn.close()

    end_time = time.perf_counter()

    elapsed = round(end_time - begin_time,2)
    message = '{},import rows: {},use_bind: {},elapsed: {}'.format(
     self.csv_name,import_rows,self.use_bind,elapsed)
    print(message)

   except Exception as e:
    message = '{} import failed,reason: {}'.format(self.csv_name,str(e))
    print(message)


if __name__ == '__main__':
 CsvDataImport(use_bind=1).data_import()

csv檔案
test.csv(內容略)

三、測試sql使用繫結變數對效能的影響
a. 使用繫結變數
對庫進行重啟，目的是清空資料庫內的所有快取，避免對實驗結果產生干擾

SQL> startup force;
SQL> drop table yang.testtb purge;
SQL> create table yang.testtb as select * from yang.test where 1=0;

執行指令碼python dataimporttest.py

結果：test.csv,import rows: 227795,use_bind: 1,elapsed: 260.31

b. 不使用繫結變數
對庫進行重啟

SQL> startup force;
SQL> drop table yang.testtb purge;
SQL> create table yang.testtb as select * from yang.test where 1=0;

將指令碼的最後一行CsvDataImport(use_bind=1).data_import()改為CsvDataImport(use_bind=0).data_import()

執行指令碼python dataimporttest.py

結果：test.csv,use_bind: 0,elapsed: 662.82

可以看到同樣的條件下，程式執行的時間，不使用繫結變數是使用繫結變數的2.54倍

四、測試資料庫開啟審計功能對效能的影響
檢視資料庫審計功能是否開啟

SQL> show parameter audit 
NAME   TYPE  VALUE
-------------- ----------- ----------
audit_trail string  NONE

統計sys.aud$這張表的行數

SQL> select count(*) from sys.aud$;

 COUNT(*)
----------
   0

所以可以直接拿第三步中的（a. 使用繫結變數）的結果作為沒開通審計功能程式執行的時間

對庫開通審計功能，並進行重啟

SQL> alter system set audit_trail=db,extended scope=spfile; # 如果設定成db，那麼在sys.aud$裡面sqltext將為空，也就是說看不到使用者執行的sql語句，審計毫無意義
SQL> startup force;
SQL> drop table yang.testtb purge;
SQL> create table yang.testtb as select * from yang.test where 1=0;
SQL> audit insert table by yang; # 開通對使用者yang的insert操作審計

將指令碼的最後一行CsvDataImport(use_bind=0).data_import()改為CsvDataImport(use_bind=1).data_import()

執行指令碼python dataimporttest.py

結果：test.csv,elapsed: 604.23

與前面使用繫結變數但沒有開通資料庫審計功能，程式執行的時間，開通資料庫審計功能是不開通資料庫審計功能的2.32倍

再來看看sys.aud$這張表的大小

SQL> select count(*) from sys.aud$;

 COUNT(*)
----------
 227798

因sys.aud$這張表中的sqltext與sqlbind都是clob欄位，因此需要通過下面的sql去統計該表所佔用的空間

SQL> select sum(bytes) from dba_extents where segment_name in (
select distinct name from (select table_name,segment_name from dba_lobs where table_name='AUD$') 
unpivot(name for i in(table_name,segment_name)));

SUM(BYTES)
----------
 369229824

檢視testtb這張表佔用的空間

SQL> select sum(bytes) from dba_extents where segment_name in ('TESTTB');

SUM(BYTES)
----------
 37748736

可以看到對一個22萬行的csv資料匯入到資料庫，審計的表佔用的空間就達到了驚人的360M，而testtb這張表本身也才37M而已

通過上面的實驗可以得出，對於資料庫的審計功能，開通後會嚴重拖慢資料庫的效能以及消耗system表空間！

五、總結

1. 程式碼中儘量使用繫結變數
2. 最好不要開通資料庫的審計，可以通過堡壘機去實現對使用者操作審計（ps：還請大家推薦個堡壘機廠商，這個才是本文最主要的目的_）

實驗存在不嚴謹的地方，相關對比資料也僅作為參考

以上就是用python對oracle進行簡單效能測試的示例的詳細內容，更多關於python 對Oracle進行效能測試的資料請關注我們其它相關文章！