postgresql如何維護WAL日誌/歸檔日誌
阿新 • • 發佈:2017-09-07
font head poc removes mini iter html sting ets
WAL日誌介紹
wal全稱是write ahead log,是postgresql中的online redo log,是為了保證數據庫中數據的一致性和事務的完整性。而在PostgreSQL 7中引入的技術。它的中心思想是“先寫日誌後寫數據”,即要保證對數據庫文件的修改應放生在這些修改已經寫入到日誌之後,同時,在PostgreSQL 8.3以後又加入了WalWriter日誌寫進程,可以保證事務提交記錄不是在提交時同步寫入到磁盤,而是異步寫入,這樣就極大的減輕了I/O的壓力。所以說WAL日誌很重要。對保證數據庫中數據的一致性和事務的完整性。
PostgreSQL的WAL日誌文件在pg_xlog目錄下,一般情況下,每個文件為16M大小:000000010000000000000010文件名稱為16進制的24個字符組成,每8個字符一組,每組的意義如下:
- 時間線:英文為timeline,是以1開始的遞增數字,如1,2,3...
- LogId:32bit長的一個數字,是以0開始遞增的數字,如0,1,2,3...
- LogSeg:32bit長的一個數字,是以0開始遞增的數字,如0,1,2,3...
wal日誌跟online redo log一樣,其個數,也不是無限的。歸檔日誌就出現了。
WAL日誌維護
1. 參數max_wal_size/min_wal_size 9.5以前: (2 + checkpoint_completion_target) * checkpoint_segments + 1 9.5:PostgreSQL 9.5 將廢棄checkpoint_segments 參數, 並引入max_wal_size 和 min_wal_size 參數, 通過max_wal_size和checkpoint_completion_target 參數來控制產生多少個XLOG後觸發檢查點, 通過min_wal_size和max_wal_size參數來控制哪些XLOG可以循環使用。 2. 參數wal_keep_segments 在流復制的環境中。使用流復制建好備庫,如果備庫由於某些原因接收日誌較慢。導致備庫還未接收到。就被覆蓋了。導致主備無法同步。這個需要重建備庫。 避免這種情況提供了該參數。每個日誌文件大小16M。如果參數設置64. 占用大概64×16=1GB的空間。根據實際環境設置。 3. pg_resetxlog 在前面參數設置合理的話。是用不到pg_resetxlog命令。 使用案例參考: https://my.oschina.net/Kenyon/blog/101432[postgres@postgres128 ~]$ pg_resetxlog -? pg_resetxlog resets the PostgreSQL transaction log. Usage: pg_resetxlog [OPTION]... DATADIR Options: -c XID,XID set oldest and newest transactions bearing commit timestamp (zero in either value means no change) [-D] DATADIR data directory -e XIDEPOCH set next transaction ID epoch -f force update to be done -l XLOGFILE force minimum WAL starting location for new transaction log -m MXID,MXID set next and oldest multitransaction ID -n no update, just show what would be done (for testing) -o OID set next OID -O OFFSET set next multitransaction offset -V, --version output version information, then exit -x XID set next transaction ID -?, --help show this help, then exit Report bugs to <pgsql-bugs@postgresql.org>.
歸檔日誌維護
1. pg_archivecleanup清理歸檔日誌。 [postgres@postgres128 ~]$ pg_archivecleanup -? pg_archivecleanup removes older WAL files from PostgreSQL archives. Usage: pg_archivecleanup [OPTION]... ARCHIVELOCATION OLDESTKEPTWALFILE Options: -d generate debug output (verbose mode) -n dry run, show the names of the files that would be removed -V, --version output version information, then exit -x EXT clean up files if they have this extension -?, --help show this help, then exit For use as archive_cleanup_command in recovery.conf when standby_mode = on: archive_cleanup_command = ‘pg_archivecleanup [OPTION]... ARCHIVELOCATION %r‘ e.g. archive_cleanup_command = ‘pg_archivecleanup /mnt/server/archiverdir %r‘ Or for use as a standalone archive cleaner: e.g. pg_archivecleanup /mnt/server/archiverdir 000000010000000000000010.00000020.backup 1.1 當主庫不斷把WAL日誌拷貝到備庫。這個時候需要清理。在recovery.conf可以配置 e.g. archive_cleanup_command = ‘pg_archivecleanup /mnt/server/archiverdir %r‘ 1.2 可以收到執行命令。 e.g. pg_archivecleanup /home/postgres/arch/ 000000010000000000000009 在歸檔目錄/home/postgres/arch/ 把000000010000000000000009之前的日誌都清理。 2. pg_rman備份 參考博客 http://www.cnblogs.com/lottu/p/7490615.html 在pg_rman備份保留策略中。在每天都備份。可以清理歸檔日誌。 對流復制環境中。備份一般是在備庫。可以把歸檔日誌傳送到備庫中。 --keep-arclog-files=NUM keep NUM of archived WAL --keep-arclog-days=DAY keep archived WAL modified in DAY days e.g 保留歸檔日誌個數10。或者保留10天內的歸檔日誌。 KEEP_ARCLOG_FILES = 10 KEEP_ARCLOG_DAYS = 10 在備份信息中會產生以下信息。 INFO: start deleting old archived WAL files from ARCLOG_PATH (keep files = 10, keep days = 10)
postgresql如何維護WAL日誌/歸檔日誌