2. 程式人生 > >Oracle的pipelined函式提升資料輸出效能

Oracle的pipelined函式提升資料輸出效能

阿新 • • 發佈：2019-02-08


       從Oracle 8開始，我們就可以從一個collection型別的資料集合中查詢出資料，這個集合稱之為“虛擬表“。它的方法是“SELECT FROM TABLE(CAST(plsql_function AS collection_type))”，據說該方法在處理大資料量時會有記憶體方面的限制。到了Oracle 9i之後，一個稱為pipelined表函式的技術被推出來。他和普通的表函式很類似，但還有有一些顯著的差別。
第一，pipelined函式處理的資料，是以管道的方式，或者說是流的方式從預先準備的小陣列中展現給使用者，而普通表函式將資料全部準備好再展現給使用者。
第二，pipelined函式可以併發，這意味著PLSQL可以同一時間在多個程序上執行。
第三，pipelined函式可以很容易將儲存過程轉換成用bulk操作的行，有利於實現的複雜轉換邏輯的SQL。

瞭解pipelined函式的最佳方法是看一個簡單的例子。對於任何一個pipelined函式，都必須有兩點要求。
1、一個定義在模式中或者包中collection型別；
2、一個單獨的PL/SQL函式或一個包中的函式，函式的返回型別後面必須加pipelined關鍵字；


在下面的例子中，我們將建立一個簡單的pipelined函式，輸出若干行記錄。首先需要一個collection型別，用於格式化輸出。

Sql程式碼 複製程式碼 收藏程式碼
  1. CREATEORREPLACE TYPE number_ntt ASTABLEOF NUMBER;  
CREATE OR REPLACE TYPE number_ntt AS TABLE OF NUMBER;
 


Oracle會使用這個型別快取少量的記錄作為pipelined函式呼叫時的輸出。我們建立一個簡單的pipelined函式。

Sql程式碼 複製程式碼 收藏程式碼
  1. CREATEORREPLACEFUNCTION row_generator(rows_in IN PLS_INTEGER)  
  2.   RETURN number_ntt  PIPELINED  
  3. IS
  4. BEGIN
  5.   FOR i IN 1 .. rows_in LOOP  
  6.     PIPE ROW(i);  
  7.   END LOOP;  
  8.   RETURN;  
  9. END;  
CREATE OR REPLACE FUNCTION row_generator(rows_in IN PLS_INTEGER)
  RETURN number_ntt  PIPELINED
IS
BEGIN
  FOR i IN 1 .. rows_in LOOP
    PIPE ROW(i);
  END LOOP;
  RETURN;
END;
 

在這個SQL中:
在函式定義部分的關鍵字pipelined是pipelined函式定義的關鍵，返回的型別必須是事先定義的collection型別，如這裡是number_tt。
在函式主體部分的”PIPE ROW”是將一個單行記錄寫入到collection流中。記錄中所有欄位的型別必須和collection型別中所有欄位匹配。
在函式主體部分的“return“的值是一個空值，而不是有任何符合collection類的值。
這些就是pipelined函式定義時需要嚴格遵守的規則。


現在已經建立好一個pipelined函式，我們可以測試一下。

Sql程式碼 複製程式碼 收藏程式碼
  1. SQL> select * fromTABLE( row_generator(10) );  
  2. COLUMN_VALUE  
  3. ------------
  4.            1  
  5.            2  
  6.            3  
  7.            4  
  8.            5  
  9.            6  
  10.            7  
  11.            8  
  12.            9  
  13.           10  
  14. 10 rows selected  
SQL> select * from TABLE( row_generator(10) );
 
COLUMN_VALUE
------------
           1
           2
           3
           4
           5
           6
           7
           8
           9
          10
 
10 rows selected
 


將pipelined函式row_generator放到一個“TABLE”操作符中，虛擬成一個數據源，類似表或檢視。這裡虛擬表只有一個欄位，名稱“COLUMN_VALUE“是其預設值。更復雜的輸出則需要將collection定義得更復雜些，使用到object或者record。


我們通過一個例子比較一下pipelined函式或普通的表函式在返回collection時有何差異。


第一步，建立普通的表函式，返回colletion型別。

Sql程式碼 複製程式碼 收藏程式碼
  1. CREATEORREPLACEFUNCTION table_function RETURN number_ntt AS
  2.   nt number_ntt := number_ntt();  
  3. BEGIN
  4.   FOR i IN 1 .. 500000 LOOP  
  5.     if (mod(i, 10000) = 0) then
  6.       nt.EXTEND;  
  7.       nt(nt.LAST) := i;  
  8.     end if;  
  9.   END LOOP;  
  10.   RETURN nt; --<-- return whole collection
  11. END table_function;  
CREATE OR REPLACE FUNCTION table_function RETURN number_ntt AS
  nt number_ntt := number_ntt();
BEGIN
  FOR i IN 1 .. 500000 LOOP
    if (mod(i, 10000) = 0) then
      nt.EXTEND;
      nt(nt.LAST) := i;
    end if;
 
  END LOOP;
  RETURN nt; --<-- return whole collection
END table_function;


第二步，建立pipelined函式，返回的也是collection型別

Sql程式碼 複製程式碼 收藏程式碼
  1. CREATEORREPLACEFUNCTION pipelined_function RETURN number_ntt  
  2.   PIPELINED AS
  3. BEGIN
  4.   FOR i IN 1 .. 500000 LOOP  
  5.     if (mod(i, 10000) = 0) then
  6.       PIPE ROW(i); --<-- send row to consumer
  7.     end if;  
  8.   END LOOP;  
  9.   RETURN;  
  10. END pipelined_function;  
CREATE OR REPLACE FUNCTION pipelined_function RETURN number_ntt
  PIPELINED AS
BEGIN
  FOR i IN 1 .. 500000 LOOP
    if (mod(i, 10000) = 0) then
      PIPE ROW(i); --<-- send row to consumer
    end if;
  END LOOP;
  RETURN;
END pipelined_function;
 



函式的功能都是將能和1000整除的數字輸出出來。
再建立一個輸出時間到毫秒的函式，用於測試兩個函式的輸出特點。

Sql程式碼 複製程式碼 收藏程式碼
  1. CREATEFUNCTION get_time RETURNTIMESTAMPIS
  2. BEGIN
  3.    RETURN LOCALTIMESTAMP;  
  4. END get_time;  
  5. /  
CREATE FUNCTION get_time RETURN TIMESTAMP IS
BEGIN
   RETURN LOCALTIMESTAMP;
END get_time;
/
 


第三步，測試兩個函式


測試普通函式如下：

Sql程式碼 複製程式碼 收藏程式碼
  1. ALTER SESSION SET NLS_TIMESTAMP_FORMAT = 'HH24:MI:SS.FF3';  
  2. SELECT get_time() AS ts FROM DUAL;  
  3. SELECT column_value, get_time() AS ts FROMTABLE(table_function);  
  4. SQL>  
  5. TS  
  6. --------------------------------------------------------------------------------
  7. 15:27:26.031  
  8. COLUMN_VALUE TS  
  9. ------------ --------------------------------------------------------------------------------
  10.       100000 15:27:26.218  
  11.       200000 15:27:26.218  
  12.       300000 15:27:26.218  
  13.       400000 15:27:26.218  
  14.       500000 15:27:26.218  
  15. SQL>  
ALTER SESSION SET NLS_TIMESTAMP_FORMAT = 'HH24:MI:SS.FF3';
SELECT get_time() AS ts FROM DUAL;
SELECT column_value, get_time() AS ts FROM TABLE(table_function);
SQL>
 
TS
--------------------------------------------------------------------------------
15:27:26.031
 
COLUMN_VALUE TS
------------ --------------------------------------------------------------------------------
      100000 15:27:26.218
      200000 15:27:26.218
      300000 15:27:26.218
      400000 15:27:26.218
      500000 15:27:26.218
 
SQL>

結果顯示，所有記錄都是同一時間輸出。

測試pipelined函式如下：

Sql程式碼 複製程式碼 收藏程式碼
  1. SELECT get_time() AS ts FROM DUAL;  
  2. SELECT column_value, get_time() AS ts FROMTABLE(pipelined_function);  
  3. TS  
  4. --------------------------------------------------------------------------------
  5. 15:27:26.265  
  6. COLUMN_VALUE TS  
  7. ------------ --------------------------------------------------------------------------------
  8.       100000 15:27:26.312  
  9.       200000 15:27:26.343  
  10.       300000 15:27:26.390  
  11.       400000 15:27:26.421  
  12.       500000 15:27:26.453  
SELECT get_time() AS ts FROM DUAL;
SELECT column_value, get_time() AS ts FROM TABLE(pipelined_function);
TS
--------------------------------------------------------------------------------
15:27:26.265
 
COLUMN_VALUE TS
------------ --------------------------------------------------------------------------------
      100000 15:27:26.312
      200000 15:27:26.343
      300000 15:27:26.390
      400000 15:27:26.421
      500000 15:27:26.453
 


 
結果顯示，所有記錄都是逐次輸出。
這點對於使用者的UI太重要了。試想，如果執行一個查詢，過了10秒鐘才顯示出所有的結果好，還是還是每秒都顯示一些記錄，知道10秒鐘顯示完畢好？

如果這個輸出的結果集再放到到百萬記錄，兩個函式對PGA記憶體的消耗又完全不一樣，這點更重要。

相關推薦

Oracle的pipelined函式提升資料輸出效能

        從Oracle 8開始，我們就可以從一個collection型別的資料集合中查詢出資料，這個集合稱之為“虛擬表“。它的方法是“SELECT FROM TABLE(CAST(plsql_function AS collection_type))”，據說該方

java輸入輸出效能提升（高效能I/O）

在java各種輸入輸出流效能由低到高排序：      -RandomAccessFile      -其他各種輸入輸出流      -帶快取的流：BufferedInputStream，BufferedOutputStream      -記憶體對映 記憶體對映是什

Matlab實用化小函式(1)--將矩陣資料輸出的txt格式的文字文件

%%%%%%%%%%%%%%%%%%%%%%%%需求描述%%%%%%%%%%%%%%%%%%%%%%%% %將一個數組轉化輸出為txt格式文件 %%%%%%%%%%%%%%%%%%%%%%%%引數描述%%%%%%%%%%%%%%%%%%%%%%%% %outputFileName   &n

MySql 大資料處理 效能提升 日誌清理

對於Oracle資料庫truncate table後空間沒有釋放解決方法：查詢資料庫表使用情況，發現一張無用的表，佔60G，查詢語句如下。   www.2cto.com  select segment_name,sum(bytes)/1024/1024/1024 from d

掌握這25條小貼士，快速提升資料視覺化能力！

視覺化不是單純的資料展示，其真正價值是設計出可以被讀者輕鬆理解的資料展示。設計過程中的每一個選擇，最終都應落地於讀者的體驗，而非設計者個人。 本文提到了一些常見錯誤，也是我們團隊總結出的一些技巧。這25條小貼士能夠快速提升和鞏固你的資料視覺化設計。一起來看看！ 一、原則 1. 選擇可以講故事的圖表

資料結構與演算法----自定義類中函式與資料成員

近期在梳理知識，做一個小結，希望自己能多多使用 在標頭檔案中： enum sign {plus, minus}; class Accruency { public: Accruency(sign s = plus, unsigned long d = 0, unsigned in

45 個快速提升資料科學技能的方法

作者 | Kirill Eremenko  編譯 | 夜風輕揚 在大資料時代，一名合格的資料科學家錢途廣闊，如何能快速起步少走彎路呢，希望本文會對你有所啟迪。 當詢問領英群組成員：在成為成熟資料科學家過程中，面臨的最大挑戰是什麼？得到最多

Flume實戰二，tail -F的方式監控一個檔案實時採集新增的資料輸出到控制檯

在cd $FLUME_HOME/conf vim exec-memory-logger.conf #exec-memory-logger.conf內容 # a1可以看做是flume服務的名稱，每個flume都由sources、channels和sinks三部分組成 # sources可以

MPU6050中資料輸出教程

硬體準備 MPU6050模組 Arduino UNO開發板 杜邦線若干 第一部分：通過串列埠除錯助手檢視IMU輸出值 第一步：接線 第二步：燒錄程式 從網上下載已有程式 MPU6050程式：http://diyh

深度學習演算法效果提升-資料

       在初學機器學習的時候，常常看到一些博友提到，做機器學習80%以上的時間都用在了處理資料上，當初不以為然。現在工作也一年多了，在實際的專案中深深地體會到了這種說法的合理性。對於深度學習演算法而言，提升效果最

MATLAB轉換TXT中灰度值資料格式，將灰度資料輸出為影象

在整理地圖測繪資料時，需要將資料先匯出，然後將資料轉化為影象資訊，使用MATLAB進行轉化遇到點問題，最後算是能出影象了，就將這一點經驗分享下。 首先看下匯出來的資料格式，匯出來的為TXT格式，其中橢圓是有效資料， 但是這種資料比較格魯的一點是，輸出的資料是40*400的

JS 變數和函式提升 全域性變數和區域性變數

1. var a = 10; function test() { a = 100; console.log(a); console.log(this.a); var a; console.log(a); } test();//100 10 100 =&

JavaScript中的變數提升與函式提升

我們先來看下面這一段程式碼 console.log(foo) //undefined var foo = ”test“ 很奇怪對吧，分明foo字串宣告在輸出語句之後，為什麼輸出的結果只是“未找到值”而不是“未找到該變數”呢？別急，我們看接下來的這個例子。 var x = new Date

反思資料輸出出現的問題

1.YALAN 資料重複原因： SQL多個數據結果匯出時，欄位名稱按照第一個結果輸出，資料會羅列累計到一張表中。 2.XIAOYAN資料問題： 1.資料貼上過程中出現錯亂， 2.產品型別沒有找到相應的欄位,從產品及合同的角度考慮，應該從那張表中找相應的欄位。 所以，資料提交需求方的最後一

提升HTML5的效能體驗系列之一 避免切頁白屏

提升HTML5的效能體驗系列之一 避免切頁白屏 白屏 切換頁面 效能 轉場 提升HTML5的效能體驗系列文章目錄導航： - [提升HTML5的效能體驗系列之一 避免切頁白屏] - 提升HTML5的效能體驗系列之二 列表流暢滑動 - 提升HTML5的效能體驗系列之三 流暢下拉重新整理 - 提升

字元型資料輸出和佔位

字元型資料輸出和佔位 Time Limit: 1000 ms Memory Limit: 65536 KiB Submit Statistic Problem Description 輸入一個字元，請你按如下要求輸出： 第一行字元資料預設輸

資料庫_函式_資料準備

SQL中可供使用的函式是非常多的，這些函式的功能包括轉換字串大小寫、求一個數的對數、計算兩個日期之間的天數間隔等，數量的掌握這些函式將能夠幫助我們更快的完成業務功能。本章將講解這些函式的使用，並且對它們在不同資料庫系統中的差異性進行比較。為了更容易的執行本章中的例子，必須首先建立所需要的資料表，因此下面列出用

redis 使用管道提升寫入的效能[pipeline]

看了手冊的都知道multi這個命令的作用就好比是mysql的事務的功能，但是大家都知道事務嗎，就是在操作的過程中，把整個操作當作一個原子來處理，避免由於中途出錯而導致最後產生的資料不一致，而產生BUG ，Mysql的事務功能可以做到這點，但是在redis中的multi，手冊中說是把多個命令當作個事務

Python霧裡看花-list與set十萬資料查詢效能對比

# -*- coding: utf-8 -*- import random import time num = 100000 listA = [random.randint(1, i) for i in range(1, num)] setB = set() while len(set

大資料之效能調優方面（資料傾斜、shuffle、JVM等方面）

一、對於資料傾斜的發生一般都是一個key對應的資料過大，而導致Task執行過慢，或者記憶體溢位（OOM），一般是發生在shuffle的時候，比如reduceByKey，groupByKey，sortByKey等，容易產生資料傾斜。 那麼針對資料傾斜我們如何解決呢？我們可以首先觀看log日誌，以為log日誌報