Postgresql 如何清理WAL日誌
WAL是Write Ahead Log的簡寫,和oracle的redo日誌類似,存放在$PGDATA/pg_xlog中,10版本以後在$PGDATA/pg_wal目錄.
如果開啟了歸檔,在目錄archive_status下會有一些檔案,以ready結尾的,表示可以歸檔但還沒有歸檔,done結尾的表示已經歸檔。
和WAL日誌數量相關的幾個引數:
wal_keep_segments = 300 # in logfile segments,16MB each; 0 disables checkpoint_completion_target = 0.5 # checkpoint target duration,0.0 - 1.0 checkpoint_segments = 2048 # in logfile segments,min 1,16MB each #9.5以後checkpoint_segments不再使用,要參考設定以下兩個引數 #max_wal_size = 1GB #最大不超過這個值 #min_wal_size = 80MB #最小保留這個值
如果沒有開啟歸檔的情況下:
不超過以下兩個公式計算得出的個數
(2 + checkpoint_completion_target) * checkpoint_segments + 1 或者checkpoint_segments + wal_keep_segments + 1
9.5以後,如果超過了max_wal_size,那麼就會刪除不需要的wal.
如果開啟了歸檔,那麼歸檔成功了,才會被清除,所以這裡注意一下,如果你開啟了歸檔,但是歸檔命令是失效的,那麼wal目錄會一直增長,不會自動刪除WAL,會使得此目錄被撐爆。
什麼情況下回自動清理wal
1.做檢查點的時候
2.資料庫啟動的時候,或者修改了相關引數後重啟資料庫。
觸發檢查點的情況:
1.從前一個檢查點發生過後的時間超過checkpoint_timeout設定的間隔(預設間隔為300秒(5分鐘))。
2.在版本9.4或更早版本中,自上一個檢查點以來,超過使用checkpoint_segments(預設數量為3)設定的WAL段檔案數量。
3.在9.5或更高版本中,pg_xlog(版本10或更高版本,pg_wal)中WAL段檔案的總大小已超過引數max_wal_size的值(預設值為1GB(64個檔案))。
4.PostgreSQL服務在smart和fast模式下停止。
5.手動執行checkpoint.
如何手動清理wal
可以通過縮小以上涉及到的函式減少wal segment的數量,也可以手動刪除,如下:
pg_controldata Latest checkpoint location: 16/79FF5520 Latest checkpoint's REDO location: 16/79FF54E8 Latest checkpoint's REDO WAL file: 00000001000000160000001E
這裡表示16/79FF54E8檢查點已經執行,已經包含在00000001000000160000001E日誌檔案中,那麼這個日誌之前的日誌是可以清理的。
可以手動使用系統命令rm清理
也可以使用pg_archivecleanup清理
比如:
檢視日誌 ll total 833M -rw------- 1 postgres postgres 64M Aug 29 11:10 00000001000000160000001E -rw------- 1 postgres postgres 64M Jul 16 11:24 00000001000000160000001F -rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000020 -rw------- 1 postgres postgres 64M Jul 16 11:25 000000010000001600000021 -rw------- 1 postgres postgres 64M Jul 16 11:25 000000010000001600000022 -rw------- 1 postgres postgres 64M Jul 16 11:26 000000010000001600000023 -rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000024 -rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000025 -rw------- 1 postgres postgres 64M Jul 16 11:26 000000010000001600000026 -rw------- 1 postgres postgres 64M Jul 16 11:40 000000010000001600000027 -rw------- 1 postgres postgres 64M Jul 16 11:40 000000010000001600000028 -rw------- 1 postgres postgres 64M Jul 16 11:51 000000010000001600000029 -rw------- 1 postgres postgres 64M Jul 16 11:40 00000001000000160000002A drwx------ 2 postgres postgres 4.0K Jun 18 10:15 archive_status 保留000000010000001600000027之後的日誌 pg_archivecleanup /opt/pgdata11.3/pg_root/pg_wal/ 000000010000001600000027 再次檢視驗證 ls 000000010000001600000027 000000010000001600000028 000000010000001600000029 00000001000000160000002A archive_status
補充:Postgresql 資料庫設定備份以及簡單清理磁碟空間和wal日誌的方法
1. 最近想簡單的進行資料庫的備份工作,因為現在資料庫主要是用的pg資料庫,所以想到用文字的方式進行,有清理了一下日誌表的資料 這裡一起記錄一下.
先記錄一下檢視比較大的表的資訊.
從網上找了下資料,使用子查詢的方式來查詢表資訊.
SELECT table_name,pg_size_pretty(table_size) AS table_size,pg_size_pretty(indexes_size) AS indexes_size,pg_size_pretty(total_size) AS total_size FROM ( SELECT table_name,pg_table_size(table_name) AS table_size,pg_indexes_size(table_name) AS indexes_size,pg_total_relation_size(table_name) AS total_size FROM ( SELECT ('"' || table_schema || '"."' || table_name || '"') AS table_name FROM information_schema.tables ) AS all_tables ORDER BY total_size DESC ) AS pretty_sizes;
找出來最大的表資訊之後,需要使用
truncate table 的方式能夠直接清理空間不然空間還是佔用著的.
truncate table ****
或者是在資料庫的 /data/base 目錄下面也能夠看到響應的表資訊
2. 整理pg_wal 檔案內的資訊
wal 是 write ahead log 的意思 裡面跟oracle的redo內容類似,有時候檔案會比較多需要清理一下.
方法
su - postgres cd /usr/lib/yourpgbinpath ./pg_resetwal {PGDATA} 執行清理
3. 執行備份恢復的方式
備份 tar -czvf /pgdata.tar.gz /pgdatapath 恢復 tar -zxvf /pgdata.tar.gz / 恢復即可,
以上為個人經驗,希望能給大家一個參考,也希望大家多多支援我們。如有錯誤或未考慮完全的地方,望不吝賜教。