1. 程式人生 > 資料庫 >淺談PostgreSQL消耗的記憶體計算方法

淺談PostgreSQL消耗的記憶體計算方法

wal_buffers預設值為-1,此時wal_buffers使用的是shared_buffers,wal_buffers大小為shared_buffers的1/32

autovacuum_work_mem預設值為-1,此時使用maintenance_work_mem的值

1 不使用wal_buffers、autovacuum_work_mem

計算公式為:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+(autovacuum_max_workers * maintenance_work_mem)

假設PostgreSQL的配置如下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB
autovacuum_max_workers = 3
maintenance_work_mem=1GB #預設值64MB
select(
 (100*(32*1024*1024)::bigint)
 + (100*(32*1024*1024)::bigint)
 + (19*(1024*1024*1024)::bigint)
 + (3 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
--output
28.25

此時pg滿載峰值時最多使用28.25GB記憶體,物理內容為32GB時,還有3.75GB記憶體給作業系統使用.

2 使用wal_buffers,不使用autovacuum_work_mem

計算公式為:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem)

假設PostgreSQL的配置如下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB 
wal_buffers=16MB #--with-wal-segsize的預設值
autovacuum_max_workers = 3 
maintenance_work_mem=1GB
select(
 (100*(32*1024*1024)::bigint)
 + (100*(32*1024*1024)::bigint)
 + (19*(1024*1024*1024)::bigint)
 + (16*1024*1024)::bigint
 + (3 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
--output
28.26

此時pg滿載峰值時最多使用28.5GB記憶體,物理內容為32GB,還有3.5GB記憶體給作業系統使用.

3 同時使用wal_buffers、autovacuum_work_mem[建議使用]

計算公式為:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem)+ maintenance_work_mem

假設PostgreSQL的配置如下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB 
wal_buffers=262143kb
autovacuum_max_workers = 3
autovacuum_work_mem=256MB
maintenance_work_mem=2GB
select(
  (100*(32*1024*1024)::bigint)
  + (100*(32*1024*1024)::bigint)
  + (19*(1024*1024*1024)::bigint)
  + (262143*1024)::bigint
  + (3 * (256*1024*1024)::bigint )
  + ( 2 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
--output
28.01

此時pg載峰值時最多使用28.25GB記憶體,還有3.75GB記憶體給作業系統使用.建議所有記憶體消耗根據硬體配置,也就是使用這個配置.

補充:postgresql 記憶體使用配置

shared_buffers:這是最重要的引數,postgresql通過shared_buffers和核心和磁碟打交道,因此應該儘量大,讓更多的資料快取在shared_buffers中。通常設定為實際RAM的10%是合理的,比如50000(400M)

work_mem: 在pgsql 8.0之前叫做sort_mem。postgresql在執行排序操作時,會根據work_mem的大小決定是否將一個大的結果集拆分為幾個小的和 work_mem查不多大小的臨時檔案。顯然拆分的結果是降低了排序的速度。因此增加work_mem有助於提高排序的速度。通常設定為實際RAM的2% -4%,根據需要排序結果集的大小而定,比如81920(80M)

effective_cache_size:是postgresql能夠使用的最大快取,這個數字對於獨立的pgsql伺服器而言應該足夠大,比如4G的記憶體,可以設定為3.5G(437500)

maintenance_work_mem:這裡定義的記憶體只是在CREATE INDEX,VACUUM等時用到,因此用到的頻率不高,但是往往這些指令消耗比較多的資源,因此應該儘快讓這些指令快速執行完畢:給maintence_work_mem大的記憶體,比如512M(524288)

max_connections: 通常,max_connections的目的是防止max_connections * work_mem超出了實際記憶體大小。比如,如果將work_mem設定為實際記憶體的2%大小,則在極端情況下,如果有50個查詢都有排序要求,而且都使 用2%的記憶體,則會導致swap的產生,系統性能就會大大降低。當然,如果有4G的記憶體,同時出現50個如此大的查詢的機率應該是很小的。不過,要清楚 max_connections和work_mem的關係。

配置 主機: 32GB

shared_buffers = 1024MB
work_mem = 1MB
effective_cache_size = 20480MB
maintenance_work_mem = 1024MB
max_connections = 8000

以上為個人經驗,希望能給大家一個參考,也希望大家多多支援我們。如有錯誤或未考慮完全的地方,望不吝賜教。