通過postgres_fdw 擴充套件，訪問遠端資料庫表

一、環境準備

虛擬機器(node107)：centos7、PostgreSQL10

遠端伺服器(百度雲服務BBC)： centos7、PostgreSQL10

在本地虛擬機器上訪問遠端伺服器的資料表。

二、配置連線

（1）建立擴充套件: 在本地107這個節點上建立擴充套件。

[root@107 ~]# su postgre
su: user postgre does not exist
[root@107 ~]# su postgres
bash-4.2$ psql mydb postgres
could not change directory to "/root": 許可權不夠
psql (10.7)
Type "help" for help.

mydb=# CREATE EXTENSION postgres_fdw;
CREATE EXTENSION

如果是普通使用者使用 ·postgres_fdw 需要單獨授權

grant usage on foreign data wrapper postgres_fdw to 使用者名稱

（2） 建立 foreign server 外部伺服器，外部服務是指連線外部資料來源的連線資訊

mydb=# create server fs_postgres_bbc 
foreign data wrapper postgres_fdw options(host '182.61.136.109',port '5432',dbname 'technology');
mydb=#

定義名稱為 fs_postgres_bbc的外部服務，options 設定遠端PostgreSQL資料來源連線選項，通常設定主機名、埠、資料庫名稱。

（3）需要給外部服務建立對映使用者

mydb=# create user mapping for postgres server 
fs_postgres_bbc options(user 'postgres',password 'password');
CREATE USER MAPPING
mydb=#

for 後面接的是 node107 的資料庫使用者，options 裡接的是遠端PostgreSQL資料庫的使用者和密碼。password 注意修改成自己的

其實想訪問遠端資料庫，無非就是知道連線資訊。包括host、port、dbname、user、password

（4）BBC上準備資料。

technology=# select * from public.customers where id < 5;
 id | name 
----+-------
 1 | name1
 2 | name2
 3 | name3
 4 | name4
(4 rows)

technology=# 
-- schemaname = public

(5) 在node107上建立外部表：

mydb=# create foreign table ft_customers 
(
 id int4 primary key,name varchar(200)
 ) server fs_postgres_bbc options (schema_name 'public',table_name 'customers');



錯誤: 外部表上不支援主鍵約束

第1行create foreign table ft_customers (id int4 primary key,nam...
            ^
mydb=#

可以看見，外部表不支援主鍵約束。想想也是合理

mydb=# create foreign table ft_customers (
 id int4,name varchar(200)
) server fs_postgres_bbc options (schema_name 'public',table_name 'customers');
CREATE FOREIGN TABLE
mydb=#

options 選項中： 需要指定外部表的schema和表名

（6）在node107上去訪問遠端BBC的資料

mydb=# select * from ft_customers where id < 5;
 id | name 
----+-------
 1 | name1
 2 | name2
 3 | name3
 4 | name4
(4 rows)

mydb=#

可以看見在mydb上能夠訪問遠端資料庫上 的資料了。

如果出現報錯，如報pg_hba.conf 檔案沒有訪問策略，在需要在對修改配置檔案。

（7）本地資料庫表與遠端資料庫表進行進行關聯查詢

create table orders (
 id int PRIMARY KEY,customerid int
);

INSERT INTO orders(id,customerid) VALUES(1,1),(2,2);

SELECT * FROM orders;

-- 和外部表關聯查詢。
mydb=# SELECT o.*,c.*
mydb-# FROM orders o
mydb-# INNER JOIN ft_customers c ON o.customerid = c.id
mydb-# WHERE c.id < 10000;
 id | customerid | id | name 
----+------------+----+-------
 1 |   1 | 1 | name1
 2 |   2 | 2 | name2
(2 rows)

mydb=#

三、postgres_fdw 外部表支援寫操作

postgres_fdw 外部表一開始只支援讀，PostgreSQL9.3 版本開始支援可寫。

寫操作需要保證：1. 對映的使用者對有寫許可權；2. 版本需要9.3 以上。

在node107結點上線刪除資料，後再插入資料、最後更新。並檢視遠端BBC資料庫表情況

mydb=# select count(*) from ft_customers;
 count 
----------
 10000000
(1 row)

mydb=# delete from ft_customers where id = 9999999;
DELETE 1
mydb=# select count(*) from ft_customers;
 count 
---------
 9999999
(1 row)

mydb=# insert into ft_customers values(9999999,'name1');
INSERT 0 1
mydb=# select count(*) from ft_customers;
 count 
----------
 10000000
(1 row)

mydb=# select * from ft_customers where id = 9999999;
 id | name 
---------+-------
 9999999 | name1
(1 row)

mydb=# update ft_customers set name = 'name999' where id = 9999999;
UPDATE 1
mydb=# select * from ft_customers where id = 9999999;
 id | name 
---------+---------
 9999999 | name999
(1 row)

mydb=#

可以看見對ft_customers 進行增刪改查。

四、postgres_fdw支援聚合函式下推

PostgreSQL10 增強了postgres_fdw 擴充套件模組的特性，可以將聚合、關聯操作下推到遠端PostgreSQL資料庫進行，而之前的版本是將外部表相應的遠端資料全部取到本地再做聚合，10版本這個心特性大幅度減少了從遠端傳輸到本地庫的資料量。提升了postgres_fdw外部表上聚合查詢的效能。

mydb=# EXPLAIN(ANALYZE on,VERBOSE on) select id,count(*) from ft_customers where id < 100 group by id;
            QUERY PLAN            
----------------------------------------------------------------------------------------------------
 Foreign Scan (cost=104.88..157.41 rows=199 width=12) (actual time=16.725..16.735 rows=99 loops=1)
 Output: id,(count(*))
 Relations: Aggregate on (public.ft_customers)
 Remote SQL: SELECT id,count(*) FROM public.customers WHERE ((id < 100)) GROUP BY 1
 Planning time: 0.247 ms
 Execution time: 249.410 ms
(6 rows)

mydb=#

remote sql: 遠端庫上執行的SQL，此SQL為聚合查詢的SQL。聚合是在遠端上執行的。

如果在PostgreSQL9.6 測試，則需要從遠端傳輸到本地才可以。

小結

物理表和外部表不能同名，因為pg_class的物件名稱唯一鍵的緣故

外部表不會儲存資料。

以上為個人經驗，希望能給大家一個參考，也希望大家多多支援我們。如有錯誤或未考慮完全的地方，望不吝賜教。