2. 程式人生 > 其它 >PostgreSQL資料恢復工具——pg_filedump

PostgreSQL資料恢復工具——pg_filedump

阿新 • • 發佈：2021-02-04

技術標籤：PostgreSQLsql資料庫postgresql

0、說明

資料庫難免會遇到因為某些故障導致資料丟失的情況，此時便需要進行資料恢復。一般情況有備份的話可以直接恢復，但是如果恰好沒有備份或者資料檔案出現損壞那就比較麻煩了。

在PostgreSQL中如果只是一般的資料檔案損壞，我們可以直接使用zero_damaged_pages=on來跳過損壞的資料塊來讀取資料，然後將資料導到新表中即可。但是如果元資料都損壞了，資料庫已經無法啟動了呢？這種情況我們便需要通過工具直接從資料檔案中讀取資料，例如Oracle中的DUL、ODU這類的工具。

在pg中，我們可以使用pg_filedump這個工具來實現類似的功能。

1、安裝

安裝很簡單，直接解壓安裝即可。

git clone git://git.postgresql.org/git/pg_filedump.git  
  
cd pg_filedump  
    
make 

make install

使用說明：

Usage: pg_filedump [-abcdfhikxy] [-R startblock [endblock]] [-D attrlist] [-S blocksize] [-s segsize] [-n segnumber] file

Display formatted contents of a PostgreSQL heap/index/control file
 

Defaults are: relative addressing, range of the entire file, block
               size as listed on block 0 in the file

The following options are valid for heap and index files:
  -a  Display absolute addresses when formatting (Block header
      information is always block relative)
  -b  Display binary block images within a range (
 
Option will turn
      off all formatting options)
  -d  Display formatted block content dump (Option will turn off
      all other formatting options)
  -D  Decode tuples using given comma separated list of types
      Supported types:
        bigint bigserial bool char charN date float float4 float8 int
        json macaddr name oid real serial smallint smallserial text
        time timestamp timetz uuid varchar varcharN xid xml
      ~ ignores all attributes left in a tuple
  -f  Display formatted block content dump along with interpretation
  -h  Display this information
  -i  Display interpreted item details
  -k  Verify block checksums
  -o  Do not dump old values.
  -R  Display specific block ranges within the file (Blocks are
      indexed from 0)
        [startblock]: block to start at
        [endblock]: block to end at
      A startblock without an endblock will format the single block
  -s  Force segment size to [segsize]
  -t  Dump TOAST files
  -v  Ouput additional information about TOAST relations
  -n  Force segment number to [segnumber]
  -S  Force block size to [blocksize]
  -x  Force interpreted formatting of block items as index items
  -y  Force interpreted formatting of block items as heap items

The following options are valid for control files:
  -c  Interpret the file listed as a control file
  -f  Display formatted content dump along with interpretation
  -S  Force block size to [blocksize]

Report bugs to <[email protected]>

2、使用測試

2.1、建立表並插入測試資料

bill@bill=>create table t_dump(id int,info text,crt_time timestamp);
CREATE TABLE

bill@bill=>insert into t_dump select generate_series(1,10),md5(random()::text),clock_timestamp();
INSERT 0 10

bill@bill=>select * from t_dump ;
 id |               info               |          crt_time
----+----------------------------------+----------------------------
  1 | 9af995e95f321e3521fcb6d41208af40 | 2021-02-03 13:26:23.502727
  2 | 2544880c1a22986487e563a6c89f377b | 2021-02-03 13:26:23.502932
  3 | de61423aaf82b8a1bbb49dc3d7809863 | 2021-02-03 13:26:23.502945
  4 | 398af8893872a1860e08ac424ecce885 | 2021-02-03 13:26:23.502951
  5 | 374e4a32688ec70a46fae44fda9e4ed8 | 2021-02-03 13:26:23.502958
  6 | bc8911e89c5be9329abf29cf68f5b4ce | 2021-02-03 13:26:23.502963
  7 | 136bfa992d70eb33b3cdd9e53376261b | 2021-02-03 13:26:23.50297
  8 | ffaa31f1a5ae272727c53ba37dd77706 | 2021-02-03 13:26:23.502975
  9 | e6fe762a144d51e15ea6bdefe2362242 | 2021-02-03 13:26:23.502982
 10 | 8669af9ca762b99e307f9ba2de6d77d2 | 2021-02-03 13:26:23.502988
(10 rows)

2.2、查看錶對應的檔案

bill@bill=>select pg_relation_filepath('t_dump');
 pg_relation_filepath
----------------------
 base/16385/25316
(1 row)

--checkpiont確保資料刷到磁碟
bill@bill=>checkpoint ;
CHECKPOINT

2.3、pg_filedump讀取資料檔案

pg13@cnndr4pptliot-> pg_filedump 25316

*******************************************************************
* PostgreSQL File/Block Formatted Dump Utility
*
* File: 25316
* Options used: None
*******************************************************************

Block    0 ********************************************************
<Header> -----
 Block Offset: 0x00000000         Offsets: Lower      64 (0x0040)
 Block: Size 8192  Version    4            Upper    7472 (0x1d30)
 LSN:  logid      0 recoff 0x7595d5b8      Special  8192 (0x2000)
 Items:   10                      Free Space: 7408
 Checksum: 0x0000  Prune XID: 0x00000000  Flags: 0x0000 ()
 Length (including item array): 64

<Data> -----
 Item   1 -- Length:   72  Offset: 8120 (0x1fb8)  Flags: NORMAL
 Item   2 -- Length:   72  Offset: 8048 (0x1f70)  Flags: NORMAL
 Item   3 -- Length:   72  Offset: 7976 (0x1f28)  Flags: NORMAL
 Item   4 -- Length:   72  Offset: 7904 (0x1ee0)  Flags: NORMAL
 Item   5 -- Length:   72  Offset: 7832 (0x1e98)  Flags: NORMAL
 Item   6 -- Length:   72  Offset: 7760 (0x1e50)  Flags: NORMAL
 Item   7 -- Length:   72  Offset: 7688 (0x1e08)  Flags: NORMAL
 Item   8 -- Length:   72  Offset: 7616 (0x1dc0)  Flags: NORMAL
 Item   9 -- Length:   72  Offset: 7544 (0x1d78)  Flags: NORMAL
 Item  10 -- Length:   72  Offset: 7472 (0x1d30)  Flags: NORMAL


*** End of File Encountered. Last Block Read: 0 ***

不過上面的資訊我們並不能看懂是什麼意思，我們需要使用-D選項將其轉換成可以直觀讀取的格式：

*******************************************************************
* PostgreSQL File/Block Formatted Dump Utility
*
* File: 25316
* Options used: -D int,text,timestamp
*******************************************************************

Block    0 ********************************************************
<Header> -----
 Block Offset: 0x00000000         Offsets: Lower      64 (0x0040)
 Block: Size 8192  Version    4            Upper    7472 (0x1d30)
 LSN:  logid      0 recoff 0x7595d5b8      Special  8192 (0x2000)
 Items:   10                      Free Space: 7408
 Checksum: 0x0000  Prune XID: 0x00000000  Flags: 0x0000 ()
 Length (including item array): 64

<Data> -----
 Item   1 -- Length:   72  Offset: 8120 (0x1fb8)  Flags: NORMAL
COPY: 1 9af995e95f321e3521fcb6d41208af40        2021-02-03 13:26:23.502727
 Item   2 -- Length:   72  Offset: 8048 (0x1f70)  Flags: NORMAL
COPY: 2 2544880c1a22986487e563a6c89f377b        2021-02-03 13:26:23.502932
 Item   3 -- Length:   72  Offset: 7976 (0x1f28)  Flags: NORMAL
COPY: 3 de61423aaf82b8a1bbb49dc3d7809863        2021-02-03 13:26:23.502945
 Item   4 -- Length:   72  Offset: 7904 (0x1ee0)  Flags: NORMAL
COPY: 4 398af8893872a1860e08ac424ecce885        2021-02-03 13:26:23.502951
 Item   5 -- Length:   72  Offset: 7832 (0x1e98)  Flags: NORMAL
COPY: 5 374e4a32688ec70a46fae44fda9e4ed8        2021-02-03 13:26:23.502958
 Item   6 -- Length:   72  Offset: 7760 (0x1e50)  Flags: NORMAL
COPY: 6 bc8911e89c5be9329abf29cf68f5b4ce        2021-02-03 13:26:23.502963
 Item   7 -- Length:   72  Offset: 7688 (0x1e08)  Flags: NORMAL
COPY: 7 136bfa992d70eb33b3cdd9e53376261b        2021-02-03 13:26:23.502970
 Item   8 -- Length:   72  Offset: 7616 (0x1dc0)  Flags: NORMAL
COPY: 8 ffaa31f1a5ae272727c53ba37dd77706        2021-02-03 13:26:23.502975
 Item   9 -- Length:   72  Offset: 7544 (0x1d78)  Flags: NORMAL
COPY: 9 e6fe762a144d51e15ea6bdefe2362242        2021-02-03 13:26:23.502982
 Item  10 -- Length:   72  Offset: 7472 (0x1d30)  Flags: NORMAL
COPY: 10        8669af9ca762b99e307f9ba2de6d77d2        2021-02-03 13:26:23.502988


*** End of File Encountered. Last Block Read: 0 ***

可以看到COPY:XXX部分顯示的便是表中的實際資料了！

但這樣是遠遠不夠的，為什麼呢？假如表中存在dead tuple，這樣顯示出來的結果我們便沒法判斷哪些是需要的了。

bill@bill=>update t_dump set info = 'bill' where id = 1;
UPDATE 1

bill@bill=>checkpoint;
CHECKPOINT

bill@bill=>select * from t_dump;
 id |               info               |          crt_time
----+----------------------------------+----------------------------
  2 | 2544880c1a22986487e563a6c89f377b | 2021-02-03 13:26:23.502932
  3 | de61423aaf82b8a1bbb49dc3d7809863 | 2021-02-03 13:26:23.502945
  4 | 398af8893872a1860e08ac424ecce885 | 2021-02-03 13:26:23.502951
  5 | 374e4a32688ec70a46fae44fda9e4ed8 | 2021-02-03 13:26:23.502958
  6 | bc8911e89c5be9329abf29cf68f5b4ce | 2021-02-03 13:26:23.502963
  7 | 136bfa992d70eb33b3cdd9e53376261b | 2021-02-03 13:26:23.50297
  8 | ffaa31f1a5ae272727c53ba37dd77706 | 2021-02-03 13:26:23.502975
  9 | e6fe762a144d51e15ea6bdefe2362242 | 2021-02-03 13:26:23.502982
 10 | 8669af9ca762b99e307f9ba2de6d77d2 | 2021-02-03 13:26:23.502988
  1 | bill                             | 2021-02-03 13:26:23.502727
(10 rows)

檢視：

[email protected]> pg_filedump -D int,text,timestamp  25316

*******************************************************************
* PostgreSQL File/Block Formatted Dump Utility
*
* File: 25316
* Options used: -D int,text,timestamp
*******************************************************************

Block    0 ********************************************************
<Header> -----
 Block Offset: 0x00000000         Offsets: Lower      68 (0x0044)
 Block: Size 8192  Version    4            Upper    7424 (0x1d00)
 LSN:  logid      0 recoff 0x7595db70      Special  8192 (0x2000)
 Items:   11                      Free Space: 7356
 Checksum: 0x0000  Prune XID: 0x000008d0  Flags: 0x0000 ()
 Length (including item array): 68

<Data> -----
 Item   1 -- Length:   72  Offset: 8120 (0x1fb8)  Flags: NORMAL
COPY: 1 9af995e95f321e3521fcb6d41208af40        2021-02-03 13:26:23.502727
 Item   2 -- Length:   72  Offset: 8048 (0x1f70)  Flags: NORMAL
COPY: 2 2544880c1a22986487e563a6c89f377b        2021-02-03 13:26:23.502932
 Item   3 -- Length:   72  Offset: 7976 (0x1f28)  Flags: NORMAL
COPY: 3 de61423aaf82b8a1bbb49dc3d7809863        2021-02-03 13:26:23.502945
 Item   4 -- Length:   72  Offset: 7904 (0x1ee0)  Flags: NORMAL
COPY: 4 398af8893872a1860e08ac424ecce885        2021-02-03 13:26:23.502951
 Item   5 -- Length:   72  Offset: 7832 (0x1e98)  Flags: NORMAL
COPY: 5 374e4a32688ec70a46fae44fda9e4ed8        2021-02-03 13:26:23.502958
 Item   6 -- Length:   72  Offset: 7760 (0x1e50)  Flags: NORMAL
COPY: 6 bc8911e89c5be9329abf29cf68f5b4ce        2021-02-03 13:26:23.502963
 Item   7 -- Length:   72  Offset: 7688 (0x1e08)  Flags: NORMAL
COPY: 7 136bfa992d70eb33b3cdd9e53376261b        2021-02-03 13:26:23.502970
 Item   8 -- Length:   72  Offset: 7616 (0x1dc0)  Flags: NORMAL
COPY: 8 ffaa31f1a5ae272727c53ba37dd77706        2021-02-03 13:26:23.502975
 Item   9 -- Length:   72  Offset: 7544 (0x1d78)  Flags: NORMAL
COPY: 9 e6fe762a144d51e15ea6bdefe2362242        2021-02-03 13:26:23.502982
 Item  10 -- Length:   72  Offset: 7472 (0x1d30)  Flags: NORMAL
COPY: 10        8669af9ca762b99e307f9ba2de6d77d2        2021-02-03 13:26:23.502988
 Item  11 -- Length:   48  Offset: 7424 (0x1d00)  Flags: NORMAL
COPY: 1 bill    2021-02-03 13:26:23.502727

可以看到dump出來總共有11條記錄，但表中實際只有10條記錄，這是因為存在dead tuple，如果要檢視哪些是dead tuple便需要檢視更詳細的資訊。

[email protected]> pg_filedump -D int,text,timestamp  -i -f 25316|less

...

<Data> -----
 Item   1 -- Length:   72  Offset: 8120 (0x1fb8)  Flags: NORMAL
  XMIN: 2255  XMAX: 2256  CID|XVAC: 0
  Block Id: 0  linp Index: 11   Attributes: 3   Size: 24
  infomask: 0x0502 (HASVARWIDTH|XMIN_COMMITTED|XMAX_COMMITTED|HOT_UPDATED)

  1fb8: cf080000 d0080000 00000000 00000000  ................
  1fc8: 0b000340 02051800 01000000 43396166  ..[email protected]........C9af
  1fd8: 39393565 39356633 32316533 35323166  995e95f321e3521f
  1fe8: 63623664 34313230 38616634 30000000  cb6d41208af40...
  1ff8: 87a9524d 6d5d0200                    ..RMm]..

COPY: 1 9af995e95f321e3521fcb6d41208af40        2021-02-03 13:26:23.502727

可以看到Item1的XMAX是2256，即表示這條資料是被更新的資料，即dead tuple。

關於資料塊的內部結構，可以參考：
https://www.postgresql.org/docs/13/storage-page-layout.html

相關的原始碼標頭檔案：

#include "access/gin_private.h"  
#include "access/gist.h"  
#include "access/hash.h"  
#include "access/htup.h"  
#include "access/htup_details.h"  
#include "access/itup.h"  
#include "access/nbtree.h"  
#include "access/spgist_private.h"  
#include "catalog/pg_control.h"  
#include "storage/bufpage.h"

相關推薦

PostgreSQL資料恢復工具——pg_filedump

技術標籤：PostgreSQLsql資料庫postgresql 0、說明 資料庫難免會遇到因為某些故障導致資料丟失的情況，此時便需要進行資料恢復。一般情況有備份的話可以直接恢復，但是如果恰好沒有備份或者資料檔案出現損壞那就

iPhone資料丟失怎麼辦？iOS資料恢復工具哪款好用？

iPhone資料丟失怎麼辦？iOS資料恢復工具哪款好用？tenorshare ultdata mac破解版是一款mac電腦上的專業iOS資料恢復工具，能夠為您恢復因為各種原因所遺失的資料（包括訊息，聯絡人，照片，視訊，備註等）。無論是因

Disk Drill資料恢復工具

Disk Drill Enterprise是一款能夠幫助大家快速進行資料查詢，恢復的Mac軟體。Disk Drill可以備份故障磁碟，可以監控SMART屬性等。disk drill mac 版具備多種功能，能夠幫您恢復誤刪除的任何資料, 包括照片、 視訊、

專業iOS資料恢復工具Tenorshare UltData中文註冊版

tenorshare ultdata mac破解版：點此獲取 tenorshare ultdata mac破解版是一款mac電腦上的專業iOS資料恢復工具，能夠為您恢復因為各種原因所遺失的資料（包括訊息，聯絡人，照片，視訊，備註等）。無論是因為掉入水裡

磁碟資料恢復及備份工具

今天小編為大家帶來的是macOS平臺上一款專為Mac使用者所設計的磁碟資料恢復及備份工具——SuperDuper for Mac，它能夠幫助使用者將磁碟中的內容複製到另一個磁碟中進行備份，功能的強大，簡單易用，有需要的朋友快來

Oracle ASM故障資料恢復解決方案

一、故障描述 ASM磁碟組掉線 ，ASM例項不能mount。ASM磁碟組有4個500G的磁碟組成，資料庫和ASM軟體為10.2.0.1，急需恢復oracle資料庫。

Mysql的Binlog資料恢復:不小心刪除資料庫詳解

Mysql的Bin log資料恢復:不小心刪除資料庫 前言：因為不小心刪除了測試機器上Mysql的一整個資料庫Schema，因為是測試機所以沒有做備份，現在通過MySQL的Bin log方式恢復到刪除以前的資料庫。

MySQL使用全庫備份資料恢復單表資料的方法

前言 備份資料庫時，採用了全庫備份，但是因為某些原因需要回滾一個表的資料到備份資料庫上，如果回滾整個庫就比較費時間，因為可能這個表只有幾十M，但是其它表可能有十幾上百G，這時候就需要將需要恢復的表提取出來

mysql如何利用binlog進行資料恢復詳解

前言 最近線上誤操作了一個數據，由於是直接修改的資料庫，所有唯一的恢復方式就在mysql的binlog。binlog使用的是ROW模式，即受影響的每條記錄都會生成一個sql。同時利用了binlog2sql專案。

MySQL資料庫運維之資料恢復的方法

之前三篇文章分別介紹了MySQL資料庫常見的備份方法，其中包括邏輯備份和物理備份，本篇將總結一下MySQL資料庫的資料恢復相關內容。這些資料恢復方案在之前備份內容介紹時，此處總結一下恢復方案，並結合資料庫的二進

Navicat for MySQL定時備份資料庫及資料恢復詳解

在做資料庫修改或刪除操作中，可能會導致資料錯誤，甚至資料庫奔潰，而有效的定時備份能很好地保護資料庫。本篇文章主要講述Navicat for MySQL定時備份資料庫和資料恢復等功能，同時可以定時播放電影等設定，希望對您

【資料庫】sql server 2012資料庫基礎-資料恢復-實驗報告

    這是大三第一學期《資料庫基礎》的實驗報告，總共15個實驗，前12個百度文庫都有，後面三個網上找不到都是我自己花了很多時間琢磨出來的，希望對大家，以及將來的我有所幫助！

python資料分析工具之 matplotlib詳解

不論是資料探勘還是數學建模，都免不了資料視覺化的問題。對於 Python 來說，matplotlib 是最著名的繪相簿，它主要用於二維繪圖，當然也可以進行簡單的三維繪圖。它不但提供了一整套和 Matlab 相似但更為豐富的命令，

windows通過binlog進行資料恢復

本人是資料恢復到本地。本地新建資料庫--新建test資料庫，注意本地mysql要和阿里雲mysql版本相同。

python學習筆記(4)-理論：資料分析工具Pandas

python學習筆記(4)-理論：資料分析工具Pandas /*! * * Twitter Bootstrap * */ /*!

PostgreSQL11.2資料恢復記錄（From Physical Files）

PostgreSQL11.2資料恢復記錄（From Physical Files） 記錄一下PostgreSQL11.2的資料恢復，場景是這樣的，我們在A主機（windows server 2008）上安裝一個PostgreSQL11.2，突然有一天A主機壞掉了，只能將磁碟解除安裝

mysql資料delete後的資料恢復

誤刪除了一個訂單，訂單號為：D200711008， 現根據binlog對該訂單資料進行恢復。

資料恢復之FAT和NTFS

放假了，把這個學期學到的東西整理出來發一下，主要是一些學習筆記和實驗之類的。

用於ETL的Python資料轉換工具詳解

ETL的考慮 做 資料倉庫系統，ETL是關鍵的一環。說大了，ETL是資料整合解決方案，說小了，就是倒資料的工具。回憶一下工作這麼些年來，處理資料遷移、轉換的工作倒 還真的不少。但是那些工作基本上是一次性工作或者

025-大資料ETL工具之StreamSets安裝及訂閱mysql binlog

025-大資料ETL工具之StreamSets安裝及訂閱mysql binlog 原文章來自：https://anjia0532.github.io/2019/06/10/cdh-streamsets/