windows下PostgreSQL資料庫定時自動非全量備份及還原指南 【簡潔版】
一、環境及背景
1、環境
本文系統環境為windows7,pgsql版本為10.17。
2、背景
progreSQL的各種管理工具中對資料庫的備份都是整庫全量備份,而專案庫中某幾個表是隻讀表,而且這幾個表的資料量巨大(上億條,大約45G)。此前提下采用全量備份無疑會對伺服器的儲存空間提出較高的要求。在儲存有限的條件下需要尋求一種僅對業務表(或者與業務聯絡較密切的表)進行定時備份的解決方案。
二、備份
開啟win命裡提示符終端,執行pg_dump備份命令,單表備份為例。
引數提前說明:
-U postgres 資料庫使用者名稱稱
--role postgres 資料庫使用者角色
-f "E:\Program Files\PostgreSQL\10backup\test.backup" 備份檔案輸出位置
-d Test_BeidouVehicle 備份資料庫 BeidouVehicle
-t BVEFence備份資料庫指定表 BVEFence
其他引數詳見【五、附錄】。
執行命令
"E:\Program Files\PostgreSQL\10\bin\pg_dump.exe" -h localhost -p 5432 -U postgres --role postgres -F c -b -v -f "E:\Program Files\PostgreSQL\10backup\test.backup" -d Test_BeidouVehicle -t \"BVEFence\"
輸入密碼,備份成功。
多個表的話,最後 -t table1 -t table2 追加即可。
三、還原
執行pg_restore命令,還原備份。此處的備份檔案包含結構和資料。
先清空BVEFence表資料,再執行命令
"E:\Program Files\PostgreSQL\10\bin\pg_restore.exe" -h localhost -p 5432 -d Test_BeidouVehicle -U postgres "E:\Program Files\PostgreSQL\10backup\test.backup"
有兩個警告,這是因為,備份檔案中包含資料庫、表的結構及資料,兩個警告分別是資料庫建庫時已存在、表建表時已存在警告。這兩個警告沒有問題。
四、備份的自動化
在第<二>部分中我們成功備份了表的資料及結構,但是過程中需要手動輸入資料庫口令即密碼,要自動化處理的話肯定不行。首先要解決口令輸入問題。接下來要解決的是定時執行問題。
1、postgreSQL在windows下備份自動輸入密碼
在bat檔案中設定資料庫連結密碼
set PGPASSWORD=password
並執行資料庫備份命令
bat完整內容:
@echo off & setlocal EnableDelayedExpansion
::資料庫密碼
set PGPASSWORD=1234
"E:\Program Files\PostgreSQL\10\bin\pg_dump.exe" -h localhost -p 5432 -U postgres -w --role postgres -F c -b -v -f "E:\Program Files\PostgreSQL\10backup\test.backup" -d Test_BeidouVehicle -t \"BVEFence\"
pause
成功了!
接下來又分別測試了PGPASSWORD引數不區分大小寫,成功。
去掉引數中的-w 依然不提示輸入口令,成功。
2、定時執行
採用windows定時任務的方式,脫離專案獨立執行。
首先開啟Windows系統的“開始”選單,從中依次點選“程式”/“附件”/“系統工具”/“任務計劃程式”命令。
①常規資訊:任務名及安全選項。
②觸發器:設定觸發條件
③操作:指向編輯好的批處理檔案,此處以“測試.bat”為測試指令碼。成功會在其所在資料夾下傳建一個名稱以“test_yyyy-MM-dd_hhmm”為格式的資料夾。
值得注意的是:指令碼檔案中不能存在pause語句,否則執行完一次後會一直阻塞在任務佇列中。
④條件:根據需要選擇條件
⑤設定:“請求後任務還在執行,強行將其停止”如果發生以外上一次沒執行成功,後一次執行可以將其清理掉。不然會一直阻塞在任務佇列中。
⑥確定:當前賬號如果沒有設定密碼,可能會報錯,類似於策略保護之類的,應該也可以在策略中配置以繞過,此處不做嘗試。
⑦結果:
注:實際配置根據具體情況去配置。
------------------------- 以上--------------------------
五、附錄
pg_dump命令引數說明
pg_dump 把一個數據庫轉儲為純文字檔案或者是其它格式.
用法:
pg_dump [選項]... [資料庫名字]
一般選項:
-f, --file=FILENAME 輸出檔案或目錄名
-F, --format=c|d|t|p 輸出檔案格式 (定製, 目錄, tar)
明文 (預設值))
-v, --verbose 詳細模式
-V, --version 輸出版本資訊,然後退出
-Z, --compress=0-9 被壓縮格式的壓縮級別
--lock-wait-timeout=TIMEOUT 在等待表鎖超時後操作失敗
-?, --help 顯示此幫助, 然後退出
控制輸出內容選項:
-a, --data-only 只轉儲資料,不包括模式
-b, --blobs 在轉儲中包括大物件
-c, --clean 在重新建立之前,先清除(刪除)資料庫物件
-C, --create 在轉儲中包括命令,以便建立資料庫
-E, --encoding=ENCODING 轉儲以ENCODING形式編碼的資料
-n, --schema=SCHEMA 只轉儲指定名稱的模式
-N, --exclude-schema=SCHEMA 不轉儲已命名的模式
-o, --oids 在轉儲中包括 OID
-O, --no-owner 在明文格式中, 忽略恢復物件所屬者
-s, --schema-only 只轉儲模式, 不包括資料
-S, --superuser=NAME 在明文格式中使用指定的超級使用者名稱
-t, --table=TABLE 只轉儲指定名稱的表
-T, --exclude-table=TABLE 不轉儲指定名稱的表
-x, --no-privileges 不要轉儲許可權 (grant/revoke)
--binary-upgrade 只能由升級工具使用
--column-inserts 以帶有列名的INSERT命令形式轉儲資料
--disable-dollar-quoting 取消美元 (符號) 引號, 使用 SQL 標準引號
--disable-triggers 在只恢復資料的過程中禁用觸發器
--exclude-table-data=TABLE 不轉儲指定名稱的表中的資料
--inserts 以INSERT命令,而不是COPY命令的形式轉儲資料
--no-security-labels 不轉儲安全標籤的分配
--no-tablespaces 不轉儲表空間分配資訊
--no-unlogged-table-data 不轉儲沒有日誌的表資料
--quote-all-identifiers 所有識別符號加引號,即使不是關鍵字
--section=SECTION 備份命名的節 (資料前, 資料, 及 資料後)
--serializable-deferrable 等到備份可以無異常執行
--use-set-session-authorization
使用 SESSION AUTHORIZATION 命令代替
ALTER OWNER 命令來設定所有權
聯接選項:
-h, --host=主機名 資料庫伺服器的主機名或套接字目錄
-p, --port=埠號 資料庫伺服器的埠號
-U, --username=名字 以指定的資料庫使用者聯接
-w, --no-password 永遠不提示輸入口令
-W, --password 強制口令提示 (自動)
--role=ROLENAME 在轉儲前執行SET ROLE
如果沒有提供資料庫名字, 那麼使用 PGDATABASE 環境變數
的數值.
報告錯誤至 <pgsql-bugs@postgresql.org>.