2. 程式人生 > 資料庫 >抽取oracle資料到mysql資料庫的實現過程

抽取oracle資料到mysql資料庫的實現過程

阿新 • • 發佈：2020-01-09

在oracle資料庫遷移至mysql資料庫，除了oracle資料庫模型移到mysql外，還一個重要環節就是要將oracle資料庫的資料移到mysql資料庫，本人嘗試用過多款資料遷移程式，效能都不是很好的，於是自己動手寫一個針對於oracle資料庫資料遷移到mysql資料程式，其具體過程如下：

1、要抽取mysql表、欄位及過濾條件的配製檔案imp_data.sql

2、建立一個目錄ETL_DIR

3、執行oracle資料庫程式P_ETL_ORA_DATA，生成各表的csv資料檔案，同時也生成一個匯入mysql的指令碼檔案imp_data.sql

4、匯入mysql資料，檔案內容如下

load data infile "alarm_hist_inc.csv" into table alarm_hist_inc fields terminated by "," enclosed by "^" lines terminated by "\r\n";
load data infile "button_authority.csv" into table button_authority fields terminated by "," enclosed by "^" lines terminated by "\r\n";
load data infile "c3_sms_hist_inc.csv" into table c3_sms_hist_inc fields terminated by "," enclosed by "^" lines terminated by "\r\n";
load data infile "datapermisson.csv" into table datapermisson fields terminated by "," enclosed by "^" lines terminated by "\r\n";

附：資料庫指令碼P_ETL_ORA_DATA

CREATE OR REPLACE PROCEDURE P_ETL_ORA_DATA
(
  P_ORA_DIR  VARCHAR2,P_DATA_PATH VARCHAR2
) IS
  TYPE T_REC IS RECORD(
    TBN VARCHAR2(40),WHR VARCHAR2(4000));
  TYPE T_TABS IS TABLE OF T_REC;
  V_TABS   T_TABS := T_TABS();
  V_ETL_DIR  VARCHAR2(40) := P_ORA_DIR;
  V_LOAD_FILE UTL_FILE.FILE_TYPE;
  PROCEDURE ETL_DATA
  (
    P_SQL_STMT VARCHAR2,P_DATA_PATH VARCHAR2,P_TB_NAME  VARCHAR2
  ) IS
  BEGIN
    DECLARE
      V_VAR_COL  VARCHAR2(32767);
      V_NUM_COL  NUMBER;
      V_DATE_COL DATE;
      V_TMZ    TIMESTAMP;
      V_COLS   NUMBER;
      V_COLS_DESC DBMS_SQL.DESC_TAB;
      V_ROW_STR  VARCHAR2(32767);
      V_COL_STR  VARCHAR2(32767);
      V_SQL_ID  NUMBER;
      V_SQL_REF  SYS_REFCURSOR;
      V_EXP_FILE UTL_FILE.FILE_TYPE;
      V_DATA_PATH VARCHAR2(200);
    BEGIN
      V_DATA_PATH := P_DATA_PATH;
      IF REGEXP_SUBSTR(V_DATA_PATH,'\\$') IS NULL
      THEN
        V_DATA_PATH := V_DATA_PATH || '\';
      END IF;
      V_DATA_PATH := REPLACE(V_DATA_PATH,'\','\\');
      OPEN V_SQL_REF FOR P_SQL_STMT;
      V_SQL_ID := DBMS_SQL.TO_CURSOR_NUMBER(V_SQL_REF);
      DBMS_SQL.DESCRIBE_COLUMNS(V_SQL_ID,V_COLS,V_COLS_DESC);
      FOR I IN V_COLS_DESC.FIRST .. V_COLS_DESC.LAST
      LOOP
        CASE
          WHEN V_COLS_DESC(I).COL_TYPE IN (1,9,96) THEN
            DBMS_SQL.DEFINE_COLUMN(V_SQL_ID,I,V_VAR_COL,32767);
          WHEN V_COLS_DESC(I).COL_TYPE = 2 THEN
            DBMS_SQL.DEFINE_COLUMN(V_SQL_ID,V_NUM_COL);
          WHEN V_COLS_DESC(I).COL_TYPE = 12 THEN
            DBMS_SQL.DEFINE_COLUMN(V_SQL_ID,V_DATE_COL);
          WHEN V_COLS_DESC(I).COL_TYPE = 180 THEN
            DBMS_SQL.DEFINE_COLUMN(V_SQL_ID,V_TMZ);
        END CASE;
      END LOOP;
      DECLARE
        V_FLUSH_OVER PLS_INTEGER := 1;
        V_FILE_OVER PLS_INTEGER := 1;
        V_FILE_NO  PLS_INTEGER := 1;
        V_FILE_NAME VARCHAR2(200);
        V_LINE    VARCHAR2(400);
      BEGIN
        WHILE DBMS_SQL.FETCH_ROWS(V_SQL_ID) > 0
        LOOP
          IF V_FILE_OVER = 1
          THEN
            V_FILE_NAME := P_TB_NAME || '_' || V_FILE_NO || '.csv';
            V_EXP_FILE := UTL_FILE.FOPEN(V_ETL_DIR,V_FILE_NAME,OPEN_MODE => 'w',MAX_LINESIZE => 32767);
          END IF;
          V_ROW_STR := '';
          FOR I IN 1 .. V_COLS
          LOOP
            V_COL_STR := '\N';
            BEGIN
              CASE
                WHEN V_COLS_DESC(I).COL_TYPE IN (1,96) THEN
                  DBMS_SQL.COLUMN_VALUE(V_SQL_ID,V_VAR_COL);
                  IF V_VAR_COL IS NOT NULL
                  THEN
                    V_COL_STR := '^' || V_VAR_COL || '^';
                  END IF;
                WHEN V_COLS_DESC(I).COL_TYPE = 2 THEN
                  DBMS_SQL.COLUMN_VALUE(V_SQL_ID,V_NUM_COL);
                  IF V_NUM_COL IS NOT NULL
                  THEN
                    V_COL_STR := V_NUM_COL;
                  END IF;
                WHEN V_COLS_DESC(I).COL_TYPE = 12 THEN
                  DBMS_SQL.COLUMN_VALUE(V_SQL_ID,V_DATE_COL);
                  IF V_DATE_COL IS NOT NULL
                  THEN
                    V_COL_STR := '^' || TO_CHAR(V_DATE_COL,'yyyy-mm-dd hh24:mi:ss') || '^';
                  END IF;
                WHEN V_COLS_DESC(I).COL_TYPE IN (180,181,231) THEN
                  DBMS_SQL.COLUMN_VALUE(V_SQL_ID,V_TMZ);
                  IF V_TMZ IS NOT NULL
                  THEN
                    V_COL_STR := '^' || TO_CHAR(V_TMZ,'yyyy-mm-dd hh24:mi:ss.ff6') || '^';
                  END IF;
              END CASE;
              IF I = 1
              THEN
                V_ROW_STR := V_COL_STR;
              ELSE
                V_ROW_STR := V_ROW_STR || ',' || V_COL_STR;
              END IF;
            END;
          END LOOP;
          UTL_FILE.PUT_LINE(V_EXP_FILE,CONVERT(V_ROW_STR,'UTF8'));
          IF V_FILE_OVER > 200000 /*每200000條記錄就產生一個新的檔案*/
          THEN
            V_FILE_OVER := 1;
            V_FLUSH_OVER := 1;
            V_FILE_NO  := V_FILE_NO + 1;
            UTL_FILE.FCLOSE(V_EXP_FILE);
            V_LINE := 'load data infile "' || V_DATA_PATH || V_FILE_NAME || '" into table ' || P_TB_NAME;
            V_LINE := V_LINE || ' fields terminated by "," enclosed by "^" lines terminated by "\r\n";';
            UTL_FILE.PUT_LINE(V_LOAD_FILE,V_LINE);
            UTL_FILE.FFLUSH(V_LOAD_FILE);
            CONTINUE;
          END IF;
          V_FILE_OVER := V_FILE_OVER + 1;
          IF V_FLUSH_OVER > 2000 /*每2000條記錄就重新整理快取，寫到檔案中 */
          THEN
            UTL_FILE.FFLUSH(V_EXP_FILE);
            V_FLUSH_OVER := 1;
          ELSE
            V_FLUSH_OVER := V_FLUSH_OVER + 1;
          END IF;
        END LOOP;
        DBMS_SQL.CLOSE_CURSOR(V_SQL_ID);
        IF UTL_FILE.IS_OPEN(V_EXP_FILE)
        THEN
          UTL_FILE.FCLOSE(V_EXP_FILE);
          V_LINE := 'load data infile "' || V_DATA_PATH || V_FILE_NAME || '" into table ' || P_TB_NAME;
          V_LINE := V_LINE || ' fields terminated by "," enclosed by "^" lines terminated by "\r\n";';
          UTL_FILE.PUT_LINE(V_LOAD_FILE,V_LINE);
          UTL_FILE.FFLUSH(V_LOAD_FILE);
        END IF;
      END;
    EXCEPTION
      WHEN OTHERS THEN
        IF DBMS_SQL.IS_OPEN(V_SQL_ID)
        THEN
          DBMS_SQL.CLOSE_CURSOR(V_SQL_ID);
        END IF;
        IF UTL_FILE.IS_OPEN(V_EXP_FILE)
        THEN
          UTL_FILE.FCLOSE(V_EXP_FILE);
        END IF;
        DBMS_OUTPUT.PUT_LINE(SQLERRM);
        DBMS_OUTPUT.PUT_LINE(P_SQL_STMT);
    END;
  END;
BEGIN
  BEGIN
    EXECUTE IMMEDIATE 'create table mysql_etl_tbs(tn varchar2(40),cn varchar2(40),ci number) ';
  EXCEPTION
    WHEN OTHERS THEN
      NULL;
  END;
  EXECUTE IMMEDIATE 'truncate table mysql_etl_tbs';
  DECLARE
    V_CI    PLS_INTEGER;
    V_CN    VARCHAR2(40);
    V_ETL_COLS VARCHAR2(32767);
    V_TBN   VARCHAR2(30);
    V_ETL_CFG VARCHAR2(32767);
    V_CNF_FILE UTL_FILE.FILE_TYPE;
    V_FROM_POS PLS_INTEGER;
  BEGIN
    V_CNF_FILE := UTL_FILE.FOPEN(V_ETL_DIR,'ETL_TABS.CNF','r',32767);
    LOOP
      UTL_FILE.GET_LINE(V_CNF_FILE,V_ETL_CFG,32767);
      V_FROM_POS := REGEXP_INSTR(V_ETL_CFG,'from',1,'i');
      V_ETL_COLS := SUBSTR(V_ETL_CFG,V_FROM_POS - 1);
      V_ETL_COLS := REGEXP_SUBSTR(V_ETL_COLS,'(select)(.+)','i',2);
      V_TBN   := REGEXP_SUBSTR(V_ETL_CFG,'(\s+from\s+)(\w+)(\s*)',2);
      V_TBN   := UPPER(V_TBN);
      V_TABS.EXTEND();
      V_TABS(V_TABS.LAST).TBN := V_TBN;
      V_TABS(V_TABS.LAST).WHR := REGEXP_SUBSTR(V_ETL_CFG,'\s+where .+','i');
      V_CI := 1;
      LOOP
        V_CN := REGEXP_SUBSTR(V_ETL_COLS,'\S+',V_CI);
        EXIT WHEN V_CN IS NULL;
        V_CN := UPPER(V_CN);
        EXECUTE IMMEDIATE 'insert into mysql_etl_tbs(tn,cn,ci) values(:1,:2,:3)'
          USING V_TBN,V_CN,V_CI;
        COMMIT;
        V_CI := V_CI + 1;
      END LOOP;
    END LOOP;
  EXCEPTION
    WHEN UTL_FILE.INVALID_PATH THEN
      DBMS_OUTPUT.PUT_LINE('指定的目錄：ETL_DIR"' || '"無效！');
      RETURN;
    WHEN UTL_FILE.INVALID_FILENAME THEN
      DBMS_OUTPUT.PUT_LINE('指定的檔案：" ETL_TABS.CNF' || '"無效！');
      RETURN;
    WHEN NO_DATA_FOUND THEN
      UTL_FILE.FCLOSE(V_CNF_FILE);
    WHEN OTHERS THEN
      DBMS_OUTPUT.PUT_LINE(SQLERRM);
      RETURN;
  END;
  DECLARE
    V_CUR_MATCH  SYS_REFCURSOR;
    V_SQL_SMT   VARCHAR2(32767);
    V_TN     VARCHAR2(40);
    V_CN     VARCHAR2(40);
    V_CI     PLS_INTEGER;
    V_COLUMN_NAME VARCHAR2(40);
    V_ETL_COLS  VARCHAR2(32767);
    V_LINE    VARCHAR2(4000);
    V_TBN     VARCHAR2(40);
  BEGIN
    V_LOAD_FILE := UTL_FILE.FOPEN(V_ETL_DIR,'load_data.sql',MAX_LINESIZE => 32767);
    FOR T_IX IN V_TABS.FIRST .. V_TABS.LAST
    LOOP
      V_SQL_SMT := 'select tn,column_name,ci from ( select * from mysql_etl_tbs where tn='':tbn:'' ) l left join user_tab_columns r on l.tn = r.table_name and l.cn= r.column_name order by ci';
      V_TBN   := V_TABS(T_IX).TBN;
      V_SQL_SMT := REPLACE(V_SQL_SMT,':tbn:',V_TBN);
      V_ETL_COLS := NULL;
      OPEN V_CUR_MATCH FOR V_SQL_SMT;
      LOOP
        FETCH V_CUR_MATCH
          INTO V_TN,V_COLUMN_NAME,V_CI;
        EXIT WHEN V_CUR_MATCH%NOTFOUND;
        IF V_CI > 1
        THEN
          V_ETL_COLS := V_ETL_COLS || ',';
        END IF;
        IF V_COLUMN_NAME IS NULL
        THEN
          V_ETL_COLS := V_ETL_COLS || ' cast(null as number) ' || V_CN;
        ELSE
          V_ETL_COLS := V_ETL_COLS || V_CN;
        END IF;
      END LOOP;
      CLOSE V_CUR_MATCH;
      V_TBN   := LOWER(V_TBN);
      V_SQL_SMT := 'select ' || V_ETL_COLS || ' from ' || V_TBN || V_TABS(T_IX).WHR;
      ETL_DATA(V_SQL_SMT,P_DATA_PATH,V_TBN);
    END LOOP;
    IF UTL_FILE.IS_OPEN(V_LOAD_FILE)
    THEN
      UTL_FILE.FCLOSE(V_LOAD_FILE);
    END IF;
  END;
END P_ETL_ORA_DATA;

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對我們的支援。如果你想了解更多相關內容請檢視下面相關連結

相關推薦

Django框架配置mysql資料庫實現過程

django配置mysql資料庫： 1.首先更改django專案檔案中的settings.py的資料庫配置 DATABASES = {

Jmeter連線Mysql資料庫實現過程詳解

昨天把Mysql裝好了，這個躺在草稿中很久的文章也可以出爐了。 首先需要準備個Mysql jdbc驅動包，儘量保證其版本和你的資料庫版本一致，至少不低於資料庫版本，否則可能有問題。去官網扒一個下來吧：https://dev.mysq

MySQL資料庫實現MMM高可用群集架構

概念 MMM(Master-Master replication managerfor Mysql，Mysql主主複製管理器)是一套靈活的指令碼程式，基於perl實現，用來對mysql replication進行監控和故障遷移，並能管理mysql Master-Master複製的配置(同一時間

MySQL資料庫儲存過程和事務的區別講解

事務是保證多個SQL語句的原子型的，也就是要麼一起完成，要麼一起不完成 儲存過程是把一批SQL語句預編譯後放在伺服器上，然後可以遠端呼叫

Mysql資料庫實現多欄位過濾的方法

我國移動網際網路進入了飛速發展階段，網際網路人才日益受到企業的重視，其中PHP開發人才便是其中之一，在網際網路旅遊、金融、餐飲、娛樂、社交等一些新興企業與軟體開發企業中，PHP開發崗位相對佔有核心地位，今天

Windows系統中完全解除安裝MySQL資料庫實現重灌mysql

一、在控制面板，解除安裝MySQL的所有元件 控制面板——》所有控制面板項——》程式和功能，解除安裝所有和MySQL有關的程式

Python操作mysql資料庫實現增刪查改功能的方法

本文例項講述了Python操作mysql資料庫實現增刪查改功能的方法。分享給大家供大家參考，具體如下：

Mysql資料庫儲存過程基本語法講解

drop procedure sp_name// 在此之前，小編給大家講述過MYSQL語法的基本知識，本篇內容，小編通過下面的一個例項，給讀者們通過實戰中的程式碼講解一下基本語法的知識。

Spring定時任務輪詢本地資料庫實現過程解析

這篇文章主要介紹了Spring定時任務輪詢本地資料庫實現過程解析,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

docker中使用mysql資料庫實現區域網訪問

1.獲取mysql映象 docker pull mysql:5.6 注意：此處之所以獲取mysql5.6是因為mysql5.7在centos7中啟動可能會報錯

Python Scrapy多頁資料爬取實現過程解析

1.先指定通用模板 url = \'https://www.qiushibaike.com/text/page/%d/\'#通用的url模板 pageNum = 1

spring boot:spring security用mysql資料庫實現RBAC許可權管理(spring boot 2.3.1)

一，用資料庫實現許可權管理要注意哪些環節? 1，需要生成spring security中user類的派生類，用來儲存使用者id和暱稱等資訊，

MySQL資料庫備份過程的注意事項

今天看了看資料備份相關的東西，總結了幾個MySQL資料備份的注意事項，簡單分享一下吧。

Django執行源生mysql語句實現過程解析

1.使用extra方法 　　解釋：結果集修改器，一種提供額外查詢引數的機制 　　說明：依賴model模型

MySQL資料庫儲存過程講解與例項

   儲存過程是資料庫的一個重要的功能，MySQL 5.0以前並不支援儲存過程，這使得MySQL在應用上大打折扣。好在MySQL 5.0開始支援儲存過程，這樣即可以大大提高資料庫的處理速度，同時也可以提高資料庫程式設計的靈

gis連線表格到資料庫失敗_python連線mysql資料庫實現增刪改查

技術標籤：gis連線表格到資料庫失敗 python連線mysql資料庫實現增刪改查的操作程式碼如下：

查詢資料庫中的重複資料——MySQL資料庫

查詢資料庫中的重複資料——MySQL資料庫 1、建表語句 DROP TABLE IF EXISTS `t_people`;

使用nodejs連線mysql資料庫實現增刪改查

web前端 訂閱專欄首先要有資料庫 使用xampp 或者 phpstudy 可以傻瓜式安裝 新建一個專案資料夾 之後在這個目錄下初始化package.json (npm init)

python連線MySQL資料庫實現(使用者登入測試功能)pymysql

pymysql PyMySQL 是一個純 Python 實現的 MySQL 客戶端操作庫，支援事務、存取過程、批量執行，實現增刪改查等

Oracle to MySQL Goldengate實現增量遷移 Oracle to MySQL Goldengate實現增量遷移

Oracle to MySQL Goldengate實現增量遷移  轉載： 第一部分：安裝和基本配置 一、環境