2. 程式人生 > 資料庫 >Oracle RedoLog-基本概念和組成

Oracle RedoLog-基本概念和組成

阿新 • • 發佈：2021-01-08

Oracle 資料庫恢復操作最關鍵的依據就是 redo log，它記錄了對資料庫所有的更改操作。在研究如何提取 redolog 中 DML 操作的過程可謂一波三折，因為介紹 redolog 結構細節的資料實在太少了，不過好在最後大致理清了它的結構，並開發了一個基於日誌的同步軟體。

本系列文章就記錄下研究過程中遇到的問題和使用的分析命令、工具。

原文連結：https://www.chuonye.com/archives/oracle-redolog.html

1. 什麼是 Redo Log

Redo Log 就是一組檔案，它們記錄了對資料庫的所有操作，主要包括：

  • 所有 DML 操作，INSERT\UPDATE\DELETE\SELECT FOR UPDATE
  • 所有 DDL 操作，CREATE TABLE\ALTER TABLE 等
  • 所有因 Recursive SQL 引起的變化，比如執行 DDL 語句時，Oracle 會隱式的執行其他 SQL 修改資料字典

在資料庫事務 COMMIT 之前，Oracle 既會把變化資訊寫入 Rodo Log 檔案，也會把原始資料-即 UNDO Segments 寫入。因此，Redo Log 不僅用於恢復資料，還能保護資料回滾。

2. Oracle 如何寫入 Redo Log

Oracle 資料庫每個例項都有一個 redo thread 負責日誌的寫入，稱為 LGWR，LoG WRiter 的簡寫。Redo Log 檔案至少有兩個，LGWR 採用迴圈覆蓋的方式寫入：當一個檔案寫滿後，開始寫入下一個，當最後一個檔案寫滿後，返回第一個開始寫入，如此迴圈。

LWR

這樣寫入會導致資料丟失嗎？預設情況下會。

資料庫日誌有兩種模式：歸檔 和 非歸檔，非歸檔模式就會有覆蓋寫入的問題。在歸檔模式下，當一組 ReodLog 檔案寫滿，發生切換時，Oracle 會保證歸檔完成前此組檔案不被覆蓋。

archive-log

可以使用以下命令手動觸發日誌切換：

SQL> alter system switch logfile

3. Redo Log 基本結構

Redo Log 是由一系列的 redo record 組成，每個 redo record 又是由一組 change vector 組成，每個 change vector 都記錄了對單個數據塊的更改操作。

Redo Log 檔案在儲存結構上，是按塊

儲存的，預設情況下塊大小是磁碟扇區的大小，通常是 512 位元組，它的格式取決於作業系統和資料庫版本，這裡的分析都是在 Windows Server 2008 R2 和 Oracle 11g 的基礎上進行的。

Redo Log 是按順序寫入的，基本格式如下：

redolog-format

前兩個塊記錄的是元資訊，分別是：

  • 第1個塊記錄檔案本身的資訊，比如檔案型別，塊大小和塊數，這部分稱為 File Header - 檔案頭
  • 第2個塊記錄資料庫例項相關資訊，比如資料庫SID，資料庫版本，這部分稱為 Redo Log Header - 重做日誌頭

結合日誌寫入方式，從整體上看，讀取這一組 Redo Log 檔案，在記憶體中可以把它們看成按塊為儲存單元的環形緩衝區來處理，解析的過程就是讀取一個個 Record。

3.1 Redo Record

一個 Redo Record 可能佔用一個 block，也可能佔用多個 block，也可能只佔用 block 的一部分，這取決於它的長度，長度欄位就儲存在 Record Header 頭部，結構如下：

record-format

值得注意的是，Record 的頭長度是動態的，計算方法以及二進位制檔案位元組分析後續文章會詳細介紹，這裡簡單看下使用 system dump 命令匯出的頭資訊：

REDO RECORD - Thread:1 RBA: 0x000009.0000029e.0010 LEN: 0x02ac VLD: 0x0d
SCN: 0x0000.0010c5e6 SUBSCN:  1 01/02/2021 21:09:41

其中主要欄位的含義：

  • RBA: Redo Byte Address, 由三部分組成：日誌序號(0x9)，塊編號(0x29e)，塊中位元組偏移量(0x10)
  • LEN: Record 長度，包含頭部長度
  • VLD: 頭部長度標識，按照一定的邏輯計算頭的長度，0x0d 就表示頭部長度為 68 位元組
  • SCN: System Change Number，也可稱為 System Commit Number。當一個事務提交時，LOWR 將緩衝區內容寫入檔案，併為每個已提交的事務，分配一個標識，就是 SCN。也就是說，可以通過 SCN 跟蹤資料庫變化，也可以根據它決定從哪開始恢復資料。

此外，藉助 SCN 還可以有針對的 dump 執行的 DML 語句，本文最後有相關的命令。

3.2 Change Vector

Record 頭後面就跟著，一個或多個 Change Vector，每個 Change 都代表一個數據庫操作，比如增刪改，事務開始，事務回滾，事務提交等等，它的格式如下：

change

其中：

  • Change Header 固定 24 位元組 長度
  • Length Vector 表示後面有多少個 Change Record，頭 2位元組表示長度列表的總長度，後面每 2 位元組 表示一個長度，計算長度時，需要進行 4 位元組對齊
  • Change Record 就是具體的變化內容了，不同的操作有不同的格式。

使用 system dump 看下 Change Header 的資訊：

CHANGE #1 TYP:0 CLS:1 AFN:4 DBA:0x01000085 OBJ:73194 SCN:0x0000.000e606a SEQ:1 OP:11.2 ENC:0 RBL:0

其中主要欄位的含義：

  • TYP: Change Type
  • CLS: Class 等於 X$BH.CLASS 暫時不知用途
  • DBA: Database Block Address，4位元組長度，高10位表示相對檔案號，低22位表示塊號
  • OP: 操作碼，區分操作型別，每個操作碼都由兩部分組成：Layer Code 和 Sub Code，比如 11.2

下圖是一些常用的操作

opcode

3.3 Transactions 事務

開始執行一個 DML 操作時，會建立一個 OP:5.2 的 Change，標識事務開始：

CHANGE #2 TYP:0 CLS:19 AFN:3 DBA:0x00c00090 OBJ:4294967295 SCN:0x0000.0010c5bb SEQ:3 OP:5.2 ENC:0 RBL:0
ktudh redo: slt: 0x0018 sqn: 0x0000033a flg: 0x0012 siz: 108 fbi: 0
            uba: 0x00c007a0.009b.40    pxid:  0x0000.000.00000000

當事務提交或者回滾時，會建立一個 OP:5.4 的 Change，標識事務結束：

CHANGE #4 TYP:0 CLS:19 AFN:3 DBA:0x00c00090 OBJ:4294967295 SCN:0x0000.0010c5e6 SEQ:1 OP:5.4 ENC:0 RBL:0
ktucm redo: slt: 0x0018 sqn: 0x0000033a srt: 0 sta: 9 flg: 0x2 ktucf redo: uba: 0x00c007a0.009b.41 ext: 2 spc: 640 fbi: 0

一個完整的事務都有一個唯一標識，日誌中的體現就是 XID ：

xid:  0x0002.018.0000033a

XID 長度是 8 位元組，由三部分組成：

  • USN: Undo segment number (0x0002)，目前不知如何獲取此值
  • slt: Undo segment header transaction table slot (0x018)，對應 ktudh/ktucm 中的 slt
  • sqn: 0x0000033a，對應 ktudh/ktucm 中的 sqn

在 ktudh/ktucm 中有一個 uba 欄位，內容是 uba: 0x00c007a0.009b.41，它表示此 Change 在 undo block 中的地址，長度是 7位元組，也由三部分組成：

  • undo block 的 DBA (0x00c007a0)
  • 序號 (0x009b)
  • 在 block 中的 Record 編號 (0x41)

下圖是一個完整事務的示例：

transactions

執行了兩個 update，其中 c1=1 的 c2 原先等於 100，更新成了 101；c1=2 的 c2 原先等於 200，更新成了 201；

4. 相關命令

4.1 日誌歸檔和非歸檔

查詢資料庫當前的日誌模式：

SQL> archive log list;
or
SQL> select log_mode from v$database;

檢視線上日誌：

SQL> select l.STATUS, lf.MEMBER from v$log l, v$logfile lf where l.GROUP# = lf.GROUP#;

檢視已歸檔日誌：

SQL> select recid, stamp, thread#, sequence#, name from v$archived_log;

檢視預設歸檔路徑

SQL> show parameter db_recovery_file_dest;

日誌開啟歸檔模式：

SQL> shutdown immediate;
SQL> startup mount
SQL> alter database archivelog;
SQL> alter database open;
SQL> archive log list;

日誌關閉歸檔模式：

SQL> shutdown immediate;
SQL> startup mount
SQL> alter database noarchivelog;
SQL> alter database open;

4.2 Redo Log Dump

使用 ALTER SYSTEM 命令可以把二進位制的 Redo Log 檔案轉儲為任何文字編輯器可讀的 ASCII 編碼檔案，有助於我們理解分析二進位制結構，該命令的語法如下：

alter system dump logfile 'FileName'
  scn min MinimumSCN
  scn max MaximumSCN
  time min MinimumTime (s)
  time max MaximumTime (s)
  layer Layer
  opcode Opcode
  dba min FileNumber BlockNumber
  dba max FileNumber BlockNumber
  rba min LogFileSequenceNumber BlockNumber
  rba max LogFileSequenceNumber BlockNumber
  objno ObjectNumber
  xid UndoSegmentNumber UndoSlotNumber UndoSequenceNumber;

使用 SCN ：

SQL> alter system dump logfile '/u01/app/oradata/orcl/redo03.log' scn min 1099234 scn max 1099246;

使用 RBA ：

SQL> select cpodr_seq,cpodr_bno from x$kcccp where rownum=1;
 CPODR_SEQ  CPODR_BNO
---------- ----------
         9       1514
SQL> DML (insert/update/delete)
SQL> select cpodr_seq,cpodr_bno from x$kcccp where rownum=1;
 CPODR_SEQ  CPODR_BNO
---------- ----------
         9       1518

SQL> alter system dump logfile '/u01/app/oradata/orcl/redo03.log' rba min 9 1514 rba max 9 1518;

注意：每次 dump 後都需要退出此次會話，重新登入後再 dump，否則結果只會儲存到一個檔案內。

4.3 查詢 dump 路徑

有兩種辦法查詢 dump 路徑。

第一，使用以下命令檢視預設路徑：

SQL> show parameter user_dump_dest;
NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
user_dump_dest                       string      c:\database\oracle\administrat
                                                 or\diag\rdbms\orcl\orcl\trace

第二，在執行 dump 命令前後使用以下命令，可以顯示：

SQL> oradebug setmypid;
SQL> alter system dump logfile xxxxxxx
SQL> oradebug tracefile_name;
c:\database\oracle\xxxxxxx\xxxxxxx.trc

4.4 dump 一個 insert 操作

首先，檢視當前使用的線上日誌是哪一個，即狀態為 CURRENT 的檔案：

SQL> select l.STATUS, lf.MEMBER from v$log l, v$logfile lf where l.GROUP# = lf.GROUP#;

然後，往 scott 使用者的 dept 表插入一條資料，檢視 dump 的結果，命令如下：

SQL> select current_scn from v$database;
CURRENT_SCN
-----------
    1099234
SQL> insert into scott.dept values(50, 'a', 'a');
SQL> commit;
SQL> select current_scn from v$database;
CURRENT_SCN
-----------
    1099246
SQL> alter system dump logfile '/u01/app/oradata/orcl/redo03.log' scn min 1099234 scn max 1099246;

最後，二進位制 Redo log dump 的結果，這裡只摘出了 insert 部分，太長了，相信也沒人看~~：

CHANGE #1 TYP:0 CLS:1 AFN:4 DBA:0x01000085 OBJ:73194 SCN:0x0000.000e606a SEQ:1 OP:11.2 ENC:0 RBL:0
KTB Redo 
op: 0x01  ver: 0x01  
compat bit: 4 (post-11) padding: 0
op: F  xid:  0x0002.018.0000033a    uba: 0x00c007a0.009b.40
KDO Op code: IRP row dependencies Disabled
  xtype: XA flags: 0x00000000  bdba: 0x01000085  hdba: 0x01000082
itli: 1  ispac: 0  maxfr: 4858
tabn: 0 slot: 0(0x0) size/delt: 10
fb: --H-FL-- lb: 0x1  cc: 3
null: ---
col  0: [ 2]  c1 33
col  1: [ 1]  61
col  2: [ 1]  61

簡單解釋下，OP:11.2 表示這是一個 insert 操作；OBJ:73194 表示操作的表是 scott.dept；最後三行的 col 表示操作的欄位資料，顯示的數值都是 16 進位制，其中 c1 33 按照一定的運算邏輯會轉成 50，61 就是字元 a 的 ASCII 編碼。

5. 總結

建議上面的命令都手動執行下，別人總結的終究沒有自己經歷下，來的印象深刻。

本系列文章主要參考的有：

  • Julian Dyke 對 RedoLog 分析的 PPT
  • David Litchfield 對 Redo Logs 二進位制檔案剖析的 PDF
  • zhoubihui 釋出在 GitHub 上的 redo_log_calculate_analysis 研究文章

以上資料網上均能搜尋到，當然了，您也可以關注下wx公眾號，「小創程式設計」回覆關鍵字「redolog」獲取。

相關推薦

Oracle RedoLog-基本概念和組成

Oracle 資料庫恢復操作最關鍵的依據就是 redo log，它記錄了對資料庫所有的更改操作。在研究如何提取 redolog 中 DML 操作的過程可謂一波三折，因為介紹 redolog 結構細節的資料實在太少了，不過好在最後大致

HDFS的基本概念和體系結構

1、HDFS的系統結構 2、NameNode NameNode是Apache Hadoop HDFS體系結構中的主節點，用於維護和管理DataNode（從節點）上存在的塊。NameNode是一個非常高可用性的伺服器，用於管理檔案系統名稱空間並控制客戶端對檔

UML學習筆記—基本概念和初始階段

chpater1 1、什麼是分析和設計 分析：對問題和需求的調查研究 設計：滿足需求的概念上的解決方案

java動態代理——jvm指令集基本概念和方法位元組碼結構的進一步探究及proxy原始碼分析四

前文地址 https://www.cnblogs.com/tera/p/13336627.html 本系列文章主要是博主在學習spring aop的過程中瞭解到其使用了java動態代理，本著究根問底的態度，於是對java動態代理的本質原理做了一些研究，於是便有了這

【tensorflow】神經網路的一些基本概念和設計過程

當今人工智慧主流方向 —— 連線主義，即仿腦神經元連線，實現感性思維，如神經網路。

專案總結71：Caffeine的基本概念和使用

專案總結71：Caffeine的基本概念和使用 start pom引用 <!-- Spring boot Cache--> <dependency>

AngularJS 學習筆記 （三） 基本概念和用法 之 路由、模組、依賴注入

>>> 1、AngualrJS的模組化實現 PS：小圖是全域性變數，大圖是模組化的變數。

AngularJS 學習筆記 （二） 基本概念和用法 之 MVC

>>> 如何使用controller MVC-Controller的實現方式1 PS：玩具級的開發中可以使用，但無法應對大型專案。

AngularJS 學習筆記 （四） 基本概念和用法 之 雙向資料繫結

>>> 1、取值表示式與ng-bind指令 2、雙向資料繫結的經典才場景 -- 表單 html程式碼：

移動端適配必須掌握的基本概念和適配方案

隨著技術的發展，移動裝置越來越流行，並且不同裝置間螢幕尺寸和螢幕畫素的差異，移動端開發面臨著多解析度適配的問題。

Elasticsearch基本概念和索引原理

我是啤酒就辣條。 但行好事，莫問前程。 Elasticsearch是什麼？ Elasticsearch是一個基於文件的NoSQL資料庫，是一個分散式、RESTful風格的搜尋和資料分析引擎，同時也是Elastic Stack的核心，集中儲存資料。Elasti

git基本概念和使用

1.git原理 工作區： 就是你在電腦上看到的目錄，比如目錄下testgit裡的檔案(.git隱藏目錄版本庫除外)。

許可權系統的基本概念和架構

目錄簡介授權流程許可權系統的架構 簡介 許可權系統是我們在系統設計和應用中一種非常常見的系統。一般來說許可權系統的功能分為認證和授權兩種。認證就非常簡單的，驗證完使用者名稱密碼就算認證成功，而授權裡面的

k8s基本概念和單節點服務搭建

K8s基本概念 Kubernetes（k8s）是自動化容器操作的開源平臺，這些操作包括部署，排程和節點叢集間擴充套件。k8s有兩種節點，master節點和node節點master節點：是叢集的大腦，master節點包括，Api Server，Scheduler，

Kubernetes的基本概念和術語

Kubernetes中的大部分概念如Node、Pod、Replication Controller、 Service等都可以被看作一種資源物件，幾乎所有資源物件都可以通過 Kubernetes提供的kubectl工具（或者API程式設計呼叫）執行增、刪、改、查 等操作

SpringMVC基本概念和入門案例

SpringMVC的基本概念 關於三層架構和MVC 三層架構 我們的開發架構一般都是基於兩種形式，一種是 C/S 架構，也就是客戶端/伺服器，另一種是 B/S 架構，也就是瀏覽器伺服器。在 JavaEE 開發中，幾乎全都是基於 B/S 架

Hive的基本概念和常用命令

一、概念： 1、結構化和非結構化資料 結構化資料：固有的鍵值對 非結構資料：沒有固定的鍵值對，沒有明確的對映關係

three.js基本概念和嘗試

功能概述： Three.js作為WebGL框架中的佼佼者，由於它的易用性和擴充套件性，使得它能夠滿足大部分的開發需求，Three.js的具體功能如下：

【Halcon視訊教程】Blob分析的基本概念和實現流程

轉載：https://zhuanlan.zhihu.com/p/75473787 【Halcon視訊教程】Blob分析的基本概念和實現流程

xunwei筆記2---基本概念和環境

UBOOT初探：BOOTLOADER是個大的裸機程式。uboot 和Linux核心不一樣，他沒有多工排程的程式碼，雖然可以掛接檔案系統，也可以有網路協議棧。uboot最初執行的是彙編，集中在那三個彙編檔案當中，然後就是C程式碼了。有