2. 程式人生 > 其它 >PostgreSQL 13: 邏輯複製支援分割槽表

PostgreSQL 13: 邏輯複製支援分割槽表

阿新 • • 發佈：2021-07-02

PostgreSQL 13: 邏輯複製支援分割槽表

發表於2020-06-22|分類於Postgres基礎|0|閱讀次數:847

PostgreSQL 10 版本開始支援邏輯複製，在12版本之前邏輯複製僅支援普通表，不支援分割槽表，如果需要對分割槽表進行邏輯複製，需單獨對所有分割槽進行邏輯複製。

PostgreSQL 13 版本的邏輯複製新增了對分割槽表的支援，如下:

  • 可以顯式地釋出分割槽表，自動釋出所有分割槽。
  • 從分割槽表中新增/刪除分割槽將自動從釋出中新增/刪除。

發行說明的解釋如下:

發行說明

Allow partitioned tables to be logically replicated via publications (Amit Langote)
Previously, partitions had to be replicated individually. Now partitioned tables can be published explicitly causing all partitions to be automatically published. Addition/removal of partitions from partitioned tables are automatically added/removed from publications. The CREATE PUBLICATION option publish_via_partition_root controls whether changes to partitions are published as their own or their ancestors.

Allow logical replication into partitioned tables on subscribers (Amit Langote)
Previously, subscribers could only receive rows into non-partitioned tables.

關於邏輯複製之前部落格有介紹，詳見PostgreSQL10：邏輯複製（Logical Replication）之一，本文僅做簡單演示。

環境規劃

環境規劃，如下:

節點資料庫版本IP埠
源庫 PostgreSQL 13beta1 192.168.2.11 1922
目標庫 PostgreSQL 13beta1 192.168.2.13 1924

環境準備

在源庫、目標庫安裝 PostgreSQL 13beta1軟體並初始化資料庫，本文略。

部署mydb資料庫

在源庫和目標庫上均部署 mydb 資料庫，如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
--建使用者
CREATE ROLE pguser LOGIN  ENCRYPTED PASSWORD 'pguser' nosuperuser noinherit nocreatedb nocreaterole ;

--建立表空間(如果有 Standby ，也需要建立目錄)
mkdir -p /pgdata/pg13/pg_tbs/tbs_mydb

--建立資料庫
CREATE DATABASE mydb
WITH  OWNER = postgres 
	  TEMPLATE = template0 
	  ENCODING = 'UTF8' 
	  TABLESPACE = tbs_mydb;
      
--賦權
grant all on database mydb to pguser  with grant option;
grant all on tablespace tbs_mydb to pguser;

\c mydb pguser
create schema pguser;

建立分割槽表

在源庫和目標庫上建立分割槽表，如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
--建立父表
CREATE TABLE tbl_log ( 
  id serial,
  user_id int4,
  create_time timestamp(0) without time zone
) PARTITION BY RANGE(create_time);

--建立子表
CREATE TABLE tbl_log_his PARTITION OF tbl_log FOR VALUES FROM (minvalue) TO ('2020-01-01');
CREATE TABLE tbl_log_202001 PARTITION OF tbl_log FOR VALUES FROM ('2020-01-01') TO ('2020-02-01');
CREATE TABLE tbl_log_202002 PARTITION OF tbl_log FOR VALUES FROM ('2020-02-01') TO ('2020-03-01');
CREATE TABLE tbl_log_202003 PARTITION OF tbl_log FOR VALUES FROM ('2020-03-01') TO ('2020-04-01');
CREATE TABLE tbl_log_202004 PARTITION OF tbl_log FOR VALUES FROM ('2020-04-01') TO ('2020-05-01');
CREATE TABLE tbl_log_202005 PARTITION OF tbl_log FOR VALUES FROM ('2020-05-01') TO ('2020-06-01');
CREATE TABLE tbl_log_202006 PARTITION OF tbl_log FOR VALUES FROM ('2020-06-01') TO ('2020-07-01');
CREATE TABLE tbl_log_202007 PARTITION OF tbl_log FOR VALUES FROM ('2020-07-01') TO ('2020-08-01');

--建立索引
CREATE INDEX idx_tbl_log_ctime ON tbl_log USING BTREE (create_time);

部署邏輯複製

源庫執行以下操作，如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
--建立複製使用者
CREATE USER repuser
 REPLICATION
 LOGIN
 CONNECTION LIMIT 10
 ENCRYPTED PASSWORD 'rep123us345er';
 
--建立釋出
mydb=> CREATE PUBLICATION pub1 FOR TABLE tbl_log;
CREATE PUBLICATION

--給repuser使用者賦權
mydb=> GRANT CONNECT ON DATABASE mydb TO repuser;
GRANT
mydb=> GRANT USAGE ON SCHEMA pguser TO repuser;
GRANT
mydb=> GRANT SELECT ON ALL TABLES IN SCHEMA pguser TO repuser;
GRANT

以上有個步驟是給源庫上的repuser使用者賦相關許可權，如果不給repuser使用者賦權，建立訂閱後目標庫無法初始化同步源庫資料。

目標庫建立訂閱，如下:

1
2
3
 
mydb=# CREATE SUBSCRIPTION sub1 CONNECTION 'host=192.168.2.11 port=1922 dbname=mydb user=repuser' PUBLICATION pub1;
NOTICE:  created replication slot "sub1" on publisher
CREATE SUBSCRIPTION

注意配置好源庫的pg_hba.conf和.pgpass檔案，否則建立訂閱會報相關的連線不上錯誤。

資料驗證

源庫批量插入資料，如下:

1
2
 
INSERT INTO tbl_log(user_id,create_time)
SELECT round(100000000*random()),generate_series('2019-10-01'::date, '2020-06-20'::date, '1 day');

源庫檢視資料，如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
[pg13@ydtf01 ~]$ psql mydb pguser -p 1922
psql (13beta1)
Type "help" for help.

mydb=> SELECT count(*) FROM tbl_log;
 count
-------
   264
(1 row)

mydb=> SELECT count(*) FROM tbl_log_202001;
 count
-------
    31
(1 row)

mydb=> SELECT count(*) FROM tbl_log_his;
 count
-------
    92
(1 row)

目標庫驗證資料，如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
[pg13@ydtf03 ~]$ psql mydb pguser -p 1924
psql (13beta1)
Type "help" for help.

mydb=> SELECT count(*) FROM tbl_log;
 count
-------
   264
(1 row)

mydb=> SELECT count(*) FROM tbl_log_202001;
 count
-------
    31
(1 row)

mydb=> SELECT count(*) FROM tbl_log_his;
 count
-------
    92
(1 row)

可見分割槽表的資料已從源庫同步到目標庫。

參考

相關推薦

PostgreSQL 13: 邏輯複製支援分割槽表

PostgreSQL 13: 邏輯複製支援分割槽表 發表於2020-06-22|分類於Postgres基礎|0|閱讀次數:847

PostgreSQL資料庫邏輯複製實踐

修改主庫以及從庫的postgresql.conf wal_level = logical max_wal_senders = 10 max_replication_slots = 8

PostgreSQL/lightdb邏輯複製詳解

　　之所以有邏輯複製，是因為物理複製是基於資料塊的複製，每個例項的資料塊是自己維護的，無法做到全域性，所以只能藉助邏輯塊複製，即使是核心整合的HTAP，在行存和列存之間同步時，也採用的是邏輯塊複製。邏輯複

PostgreSQL分割槽表實現——pg_pathman安裝、配置

近日由於系統執行時間太長，資料庫庫表中的資料也是越來越多，為了縮短庫表的操作時間，所以對資料庫中的部分庫表進行分割槽的操作。

PostgreSQL時序庫分割槽表優化

時序庫表優化 前言： 緊縮對於時序資料庫是非常重要的。因為時序資料庫面對的物聯網天天都會產生上億條資料。在大年夜資料時代的今天資料的重要性是不問可知的，資料就是公司的將來。但如無法對這些時序資料進

postgresql查詢分割槽表怎麼查？

技術標籤：分割槽表列表javaphppostgresql 大家知道 PostgreSQL 的分割槽是通過繼承來實現的，按分割槽方式，可以實現表的列表分割槽，範圍分割槽，以及複合分割槽等，本文僅介紹關於

postgresql流複製原理以及流複製和邏輯複製的區別說明

流複製的原理： 物理複製也叫流複製，流複製的原理是主庫把WAL傳送給備庫，備庫接收WAL後，進行重放。

PostgreSQL 邏輯複製 配置操作

#### PostgreSQL Logical Replication (邏輯複製) #### Logical Replication (邏輯複製) 為PostgreSQL自己提供的一種方案,主要是通過一方 釋出，一方訂閱，來實現彼此共同關注的一種技術。

PostgreSQL 建立分割槽表、查詢表的所有分割槽

DROP TABLE IF EXISTS \"npas\".\"pl_rt_wfm_1h\"; CREATE TABLE \"npas\".\"pl_rt_wfm_1h\" ( \"新系統規劃站點編碼\" varchar(128) COLLATE \"pg_catalog\".\"default\",

postgresql之物理複製與邏輯複製_非同步流複製部署

------------恢復內容開始------------ --物理複製，也稱為流複製（streaming replication）,通過流複製複製一個一模一樣的備庫

PostgreSQL 建立分割槽表以及優化

典型使用場景 　　隨著使用時間的增加，資料庫中的資料量也不斷增加，因此資料庫查詢越來越慢。　　加速資料庫的方法很多，如新增特定的索引，將日誌目錄換到單獨的磁碟分割槽，調整資料庫引擎的引數等。這些方法都能

PostgreSQL 13支援增量排序(Incremental Sorting)

PostgreSQL 13支援增量排序(Incremental Sorting) PostgreSQL 13一個重要的功能是支援增量排序，使用order by 時可以加速排序，SQL如下

Hive 系列（五）—— Hive 分割槽表和分桶表

一、分割槽表 1.1 概念 Hive 中的表對應為 HDFS 上的指定目錄，在查詢資料時候，預設會對全表進行掃描，這樣時間和效能的消耗都非常大。

利用Java實現複製Excel工作表功能

本文歸納了關於Java如何複製Excel工作表的方法，按不同複製需求，可分為： 1. 複製工作表

通過例項學習MySQL分割槽表原理及常用操作

1、分割槽表含義 分割槽表定義指根據可以設定為任意大小的規則，跨檔案系統分配單個表的多個部分。實際上，表的不同部分在不同的位置被儲存為單獨的表。使用者所選擇的、實現資料分割的規則被稱為分割槽函式，這在My

MySQL分割槽表的正確使用方法

MySQL分割槽表概述 我們經常遇到一張表裡面儲存了上億甚至過十億的記錄，這些表裡面儲存了大量的歷史記錄。 對於這些歷史資料的清理是一個非常頭疼事情，由於所有的資料都一個普通的表裡。所以只能是啟用一個或多個

oracle普通錶轉化為分割槽表的方法

上一篇文章中我們瞭解了oracle資料與文字匯入匯出原始碼示例的相關內容，接下來我們看看，oracle中如何將普通錶轉化為分割槽表的方法。

PostgreSQL修改被檢視引用的表的欄位

在pg中，當我們需要修改表的某個欄位時，如果該欄位剛好被檢視引用，必須先將引用的物件刪除，才能修改對應的欄位。

DB2分割槽表如何區分索引是分割槽索引還是非分割槽索引

問題描述： 經常有人問，我分割槽表裡的索引到底是分割槽索引還是非分割槽索引？

Oracle快速複製一張表

快速複製表，僅包含結構： create table newtable as select * from oldtable where 1=2 快速複製表，含結構和資料：