2. 程式人生 > 資料庫 >Oracle -- 增量同步資料_遊標和merge into 方式同步

Oracle -- 增量同步資料_遊標和merge into 方式同步

阿新 • • 發佈：2020-01-29

 

增量抽取
只需抽取新增的或修改的資料。此方法效能好，但容易遺漏。
目標表中有，但是源表中沒有的話，更新不了。
以時間戳取增量，對源表刪除的資料無能為力。

通過源表更新目標表的時候，通常是先判斷 源表中的資料在目標表中是否存在（通過主鍵判斷）
如果存在，那麼就用源表的資料，更新目標表的資料。
如果不存在，那麼就直接從源表中插入資料到目標表。

------------------------------------- 使用遊標進行增量資料同步 -------------------------------------

①建立增量資料同步儲存過程

CREATE OR REPLACE PROCEDURE SP_EMP_BACK2 

IS
  CURSOR C_EMP IS --宣告遊標指向結果集
    SELECT * FROM EMP;

  V_EMP  C_EMP%ROWTYPE;
  V_CT   NUMBER(5);
  V_MARK NUMBER(5);
BEGIN
  --初始化變數
  V_MARK := SEQ_TEST2.NEXTVAL;--序列值

  FOR V_EMP IN C_EMP LOOP
    SELECT COUNT(1) 
    INTO V_CT 
    FROM EMP_BACK1 
    -- 比較欄位，通過主鍵 empno 判斷員工資訊是否存在於目標表
    WHERE EMPNO = V_EMP.EMPNO; 

    -- 判斷源表中的資料在目標表中存在，存在則用源表中的資料更新目標表
    IF V_CT = 1 THEN
      UPDATE EMP_BACK1 M
         SET --  這裡更新的時候，不能更新 比較欄位。
             M.ENAME = V_EMP.ENAME,
             M.JOB       = V_EMP.JOB,
             M.MGR       = V_EMP.MGR,
             M.HIREDATE  = V_EMP.HIREDATE,
             M.SAL       = V_EMP.SAL,
             M.COMM      = V_EMP.COMM,
             M.DEPTNO    = V_EMP.DEPTNO,
             M.DATA_DATE = SYSDATE,
             M.MARK      = V_MARK
       WHERE EMPNO = V_EMP.EMPNO;
    
   -- 判斷源表中的資料，在目標表中不存在，那麼就插入資料
    ELSIF V_CT = 0 THEN
      INSERT INTO EMP_BACK1
        (EMPNO,
         ENAME,
         JOB,
         MGR,
         HIREDATE,
         SAL,
         COMM,
         DEPTNO,
         DATA_DATE,
         MARK)
      VALUES
        (V_EMP.EMPNO,
         V_EMP.ENAME,
         V_EMP.JOB,
         V_EMP.MGR,
         V_EMP.HIREDATE,
         V_EMP.SAL,
         V_EMP.COMM,
         V_EMP.DEPTNO,
         SYSDATE,
         V_MARK);
    END IF;
  END LOOP;
  COMMIT;
END;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
②呼叫儲存過程

BEGIN
  SP_EMP_BACK2;
END ;
1
2
3
③檢查目標表中的資料，是否按照增量同步的邏輯，存在則更新，不存在，則插入。

SELECT * FROM EMP_BACK1 ;
1
---------------------- 使用 merge into 的方式實現增量同步 -----------------------------

①建立增量資料同步儲存過程

CREATE OR REPLACE PROCEDURE SP_EMP_BACK3 IS
  V_MARK NUMBER(5);
BEGIN
  V_MARK := SEQ_TEST2.NEXTVAL;

  MERGE INTO EMP_BACK1 M     -- 使用 merge into 更新目標表  EMP_BACK1
  USING (SELECT * FROM EMP) E  -- 使用 （） 內的查詢結果
  ON (M.EMPNO = E.EMPNO)    -- 通過 on 後面的條件比較
  -- 判斷源表中資料在目標表中存在，則更新
  WHEN MATCHED THEN    -- 當 on 後面的條件比較 匹配上資料，then 更新
    UPDATE
       SET -- 比較欄位 empno  不能更新
           M.ENAME     = E.ENAME,
           M.JOB       = E.JOB,
           M.MGR       = E.MGR,
           M.HIREDATE  = E.HIREDATE,
           M.SAL       = E.SAL,
           M.COMM      = E.COMM,
           M.DEPTNO    = E.DEPTNO,
           M.DATA_DATE = SYSDATE,
           M.MARK      = V_MARK   -- 這裡不加分號 ，分號表示程式執行到這裡結束

    -- 判斷源表中的資料在目標表不存在，則插入
  WHEN NOT MATCHED THEN  -- 當 on 後面的條件比較 匹配不到資料，then 插入
    INSERT 
      (M.EMPNO,
       M.ENAME,
       M.JOB,
       M.MGR,
       M.HIREDATE,
       M.SAL,
       M.COMM,
       M.DEPTNO,
       M.DATA_DATE,
       M.MARK)
    VALUES
      (E.EMPNO,
       E.ENAME,
       E.JOB,
       E.MGR,
       E.HIREDATE,
       E.SAL,
       E.COMM,
       E.DEPTNO,
       SYSDATE,
       V_MARK);
  COMMIT;
END;

②呼叫儲存過程

BEGIN 
  SP_EMP_BACK3;
END ;

③ 驗證結果是否正確

SELECT * FROM EMP_BACK1  ;
————————————————
版權宣告：本文為CSDN博主「ferlylao」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處連結及本宣告。
原文連結：https://blog.csdn.net/ferlylao/article/details/104092918

 

相關推薦

Oracle -- 增量同步資料_遊標和merge into 方式同步

  增量抽取 只需抽取新增的或修改的資料。此方法效能好，但容易遺漏。 目標表中有，但是源表中沒有的話，更新不了。

兩個oracle資料庫間通過資料庫連結和觸發器同步兩個資料庫間資料

>>> 前提：本地資料庫存在一張：A_TEST表，伺服器資料庫有兩張表：A_TEST、A_TEST_HIST(歷史表),需要將本地資料的更改、新增、刪除同步到伺服器資料庫的兩張表中。

Oracle merge into插入和修改資料

技術標籤：oracleoracle Oracle merge into插入和修改資料 目錄 語法： Mybatis: 單個插入：

shell指令碼將Oracle伺服器中資料定時增量重新整理到ftp伺服器中

現有需求：將oracle資料庫中的資料準實時同步至某ftp伺服器中，以便前端應用能定時從ftp伺服器目錄中取增量資料

oracle資料匹配merge into的例項詳解

oracle資料匹配merge into的例項詳解 前言： 很久之前，估計在2010年左右在使用Oralce，當時有個需求就是需要對兩個表的資料進行匹配，這兩個表的資料結構一致，一個是正式表，一個是臨時表，這兩表資料量還算是比較

scrapy資料儲存在mysql資料庫的兩種方式(同步和非同步)

方法一：同步操作 1.pipelines.py檔案（處理資料的python檔案） import pymysql class LvyouPipeline(object):

Oracle誤刪除資料和表的恢復辦法

在工作中我們操作資料庫的時候經常會發生一個不該發生的問題：使用者意外的刪除一個非常重要的表或者是表中的資料而且沒有備份，需要儘快的恢復，以下就是解決的辦法：

ORACLE 誤刪除資料和表的恢復辦法包括truncate

ORACLE 誤刪除資料和表的恢復辦法包括truncate 主要利用ORACLE 回收站的閃回特性ORACLE回收站recyclebin

Oracle定時備份資料然後匯入資料和表

1.首先做個批處理指令碼:backup.bat 指令碼內容如下 @echo off“del /q/a/f E:\\database\\backup\\*.*” --刪除之前備份檔案防止磁碟不足set curdate=%date:~0,4%%date:~5,2%%date:~8,2%set backuppath=E:

資料結構 向量和陣列_資料結構和陣列

資料結構 向量和陣列 Firstly, what is a data structure? 首先，什麼是資料結構？ It is a collection of values that can have relationships among them and functions applied to them. Each data

Elasticsearch5 Python操作Elasticsearch，mysql和Elasticsearch同步資料(開源外掛go-mysql-elasticsearch)，haystack的使用

Python操作Elasticsearch的兩種方式 第一種方式 # 第一種使用方式(推薦使用，簡單)

Oracle ~ merge into 函式 (增量更新、全量更新)

Oracle merge into 函式 增量更新、全量更新 1、資料匯入功能，存在全量更新/增量更新的問題，簡單記錄使用 oracel 的 merge into 函式。

資料結構與演算法_語言和框架特性前瞻和bug修復

特性和問題 JEPsThis JEP is the index of all JDK Enhancement Proposals, known as JEPs. http://openjdk.java.net/jeps/1

Python入門基礎篇 No.27 —— 列表_二維列表_表格資料的儲存和讀取

技術標籤：# 基礎列表python經驗分享程式人生windows Python入門基礎篇 No.27 —— 列表_二維列表_表格資料的儲存和讀取

oracle增量和全量備份方案

oracle增量和全量備份方案 目錄 oracle生產備份方案 crontab 配置 rman_backup_0.sh rman_backup_1.sh

Oracle資料庫的遊標和for迴圈使用 Oracle資料庫的遊標和for迴圈使用

Oracle資料庫的遊標和for迴圈使用     1. 遊標的概念和作用 遊標是 sql 的一個記憶體工作區，由系統或使用者以變數的形式定義

巧用 JuiceFS Sync 命令跨雲遷移和同步資料

近年來，雲端計算已成為主流，企業從自身利益出發，或是不願意被單一雲服務商鎖定，或是業務和資料冗餘，或是出於成本優化考慮，會嘗試將部分或者全部業務從線下機房遷移到雲或者從一個雲平臺遷移到另一個雲平臺，業

mybatis使用foreach標籤和oracle merge into 語法實現批量更新

1.使用foreach標籤和oracle merge into 語法需要在該標籤增加 separator=\";\" open=\"BEGIN\" close=\";END;\" 三個屬性，寫法不當會報錯，例如：

git push origin master是什麼意思_【Git】 rebase 和 merge 的正確使用姿勢

背景使用GIT這麼久了從來沒有深層次的研究過，一般情況下，只要會pull,commit,push等幾個基本提交命令就可以了，公司的專案分支管理這部分操作一直都是我負責，對於分支的合併我一直都使用merge操作，也知道還有一個

Java 中基於各種資料型別分析 == 和 equals 的區別

前言分析一、int 和 Integer1、Integer 物件使用 new 關鍵字生成2、表面上不是 new 關鍵字生成的 Integer 物件3、兩個 int 變數比較4、new 生成的 Integer 物件和 int 變數比較5、非 new 生成的 Integer 物件和 int