PostgreSQL的DB在表空間之間遷移

阿新 • • 發佈：2018-07-10

-- upload wait access ren oba style acl rate

Background

The /data/01 disk space is insufficient, but /data/02 is sufficient, so we migrate some data to /data/02.

1.Backup DB and upload to s3

pg_dump --verbose -Fc --dbname=region_il | gzip > /data/02/backup/region_il_20180907.psql.gz

pg_dump --verbose -Fc --dbname=region_anz | gzip > /data/02/backup/region_anz_20180907.psql.gz

pg_dump --verbose -Fc --dbname=region_mea | gzip > /data/02/backup/region_mea_20180907.psql.gz

pg_dump --verbose -Fc --dbname=region_sa | gzip > /data/02/backup/region_sa_20180907.psql.gz

$ aws s3 cp region_il_20180907.psql.gz s3://dba-backups/

$ aws s3 cp region_anz_20180907.psql.gz s3://dba-backups/

$ aws s3 cp region_mea_20180907.psql.gz s3://dba-backups/

$ aws s3 cp region_sa_20180907.psql.gz s3://dba-backups/

$ aws s3 ls s3://dba-backups/ |grep "20180907.psql.gz"

2018-07-09 07:31:57 1831857418 region_anz_20180907.psql.gz

2018-07-09 07:33:57 1615345844 region_il_20180907.psql.gz

2018-07-09 07:37:05 8780321291 region_mea_20180907.psql.gz

2018-07-09 07:44:52 20429541766 region_sa_20180907.psql.gz

2.Check Session and disk freeable space

postgres=# select * from pg_stat_activity;
 datid | datname  |  pid  | usesysid | usename  | application_name | client_addr | client_hostname | client_port |         backend_start         |          xact_start           |          query_start          |         state_change          | waiting | state  |              query
-------+----------+-------+----------+----------+------------------+-------------+-----------------+-------------+-------------------------------+-------------------------------+-------------------------------+-------------------------------+---------+--------+----------------------------------
 12840 | postgres | 23155 |       10 | postgres | psql             |             |                 |          -1 | 2018-07-09 07:38:34.935179-04 | 2018-07-09 07:43:04.894374-04 | 2018-07-09 07:43:04.894374-04 | 2018-07-09 07:43:04.894378-04 | f       | active | select * from pg_stat_activity;
 12840 | postgres | 22809 |       10 | postgres | psql             |             |                 |          -1 | 2018-07-09 07:34:45.688671-04 |                               | 2018-07-09 07:37:37.758388-04 | 2018-07-09 07:37:37.758749-04 | f       | idle   | select oid,* from pg_tablespace;
(2 rows)

$ df -Th

Filesystem Type Size Used Avail Use% Mounted on

/dev/xvde1 ext3 9.9G 6.4G 3.0G 69% /

none tmpfs 15G 12K 15G 1% /dev/shm

/dev/xvdl1 ext4 493G 47G 421G 10% /data/02

/dev/xvdk1 ext4 2.0T 1.8T 113G 94% /data/01

3.Create new tablespace location /data/02 disk:

create tablespace region owner denaliadmin location '/data/02/pgsql/data/base';

postgres=# \db+

List of tablespaces

Name | Owner | Location | Access privileges | Description

------------+-------------+--------------------------+-------------------+-------------

pg_default | postgres | | |

pg_global | postgres | | |

region | denaliadmin | /data/02/pgsql/data/base | |

(3 rows)

4.Move DB to new Tablespace

postgres=# select oid, * from pg_database;
  oid   |      datname       | datdba | encoding | datcollate  |  datctype   | datistemplate | datallowconn | datconnlimit | datlastsysoid | datfrozenxid | datminmxid | dattablespace |                              datacl
--------+--------------------+--------+----------+-------------+-------------+---------------+--------------+--------------+---------------+--------------+------------+---------------+-------------------------------------------------------------------
      1 | template1          |     10 |        6 | en_US.UTF-8 | en_US.UTF-8 | t             | t            |           -1 |         12835 |    200001862 |          1 |          1663 | {=c/postgres,postgres=CTc/postgres}
  12835 | template0          |     10 |        6 | en_US.UTF-8 | en_US.UTF-8 | t             | f            |           -1 |         12835 |    200001940 |          1 |          1663 | {=c/postgres,postgres=CTc/postgres}
  12840 | postgres           |     10 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    295302735 |          1 |          1663 |
  16384 | template_postgis   |     10 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    205319808 |          1 |          1663 |
  21627 | denali_test        |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    205320018 |          1 |          1663 |
  17794 | denali             |     10 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    205316770 |          1 |          1663 | {=Tc/postgres,postgres=CTc/postgres,r_denali_readonly=c/postgres}
  25419 | contrib_regression |     10 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    295302735 |          1 |          1663 |
  71746 | regression         |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    187750513 |          1 |          1663 |
 103050 | test               |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    200001862 |          1 |          1663 |
  48729 | region_na          |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    190246393 |          1 |          1663 |
 153385 | region_sea         |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    200001862 |          1 |          1663 |
 158397 | fuse               |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    200001862 |          1 |          1663 |
  81870 | region_eu          |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    192495454 |          1 |          1663 |
  93796 | region_sa          |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    200778866 |          1 |          1663 |
  ×××8 | region_mea         |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    190246488 |          1 |          1663 |
 101209 | region_il          |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    199337179 |          1 |          1663 |
 101862 | region_anz         |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    199763417 |          1 |          1663 |
(17 rows)

postgres=# select oid,* from pg_tablespace;

oid | spcname | spcowner | spcacl | spcoptions

--------+------------+----------+--------+------------

1663 | pg_default | 10 | |

1664 | pg_global | 10 | |

271240 | region | 16513 | |

(3 rows)

alter database region_il set tablespace region;

alter database region_anz set tablespace region;

alter database region_mea set tablespace region;

alter database region_sa set tablespace region;

postgres=# select oid, * from pg_database where datname in ('region_il','region_anz','region_mea','region_sa');
  oid   |  datname   | datdba | encoding | datcollate  |  datctype   | datistemplate | datallowconn | datconnlimit | datlastsysoid | datfrozenxid | datminmxid | dattablespace | datacl
--------+------------+--------+----------+-------------+-------------+---------------+--------------+--------------+---------------+--------------+------------+---------------+--------
 101209 | region_il  |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    199337179 |          1 |        271240 |
 101862 | region_anz |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    199763417 |          1 |        271240 |
  ×××8 | region_mea |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    190246488 |          1 |        271240 |
  93796 | region_sa  |  16513 |        6 | en_US.UTF-8 | en_US.UTF-8 | f             | t            |           -1 |         12835 |    200778866 |          1 |        271240 |
(4 rows)

postgres=# select oid,* from pg_tablespace;

oid | spcname | spcowner | spcacl | spcoptions

--------+------------+----------+--------+------------

1663 | pg_default | 10 | |

1664 | pg_global | 10 | |

271240 | region | 16513 | |

(3 rows)

$ df -Th

Filesystem Type Size Used Avail Use% Mounted on

/dev/xvde1 ext3 9.9G 6.4G 3.0G 69% /

none tmpfs 15G 12K 15G 1% /dev/shm

/dev/xvdl1 ext4 493G 332G 136G 71% /data/02

/dev/xvdk1 ext4 2.0T 1.5T 399G 79% /data/01

5.Restart Database

pg_ctl stop;

pg_ctl start;

6.Reference

https://www.postgresql.org/docs/9.3/static/sql-createtablespace.html

https://www.postgresql.org/docs/9.3/static/sql-alterdatabase.html

PostgreSQL的DB在表空間之間遷移

-- upload wait access ren oba style acl rate BackgroundThe /data/01 disk space is insufficient, but /data/02 is sufficient, so we migrat

Oracle不同表空間之間的資料遷移

--將資料庫為testdb，使用者名稱為testuser中預設（users）表空間裡的資料遷移至表空間(newtablespace) --1.用system使用者登陸testdb資料庫，建立directory（testdir）並將讀、寫許可權授予testuser使用者

InnoDB--------獨立表空間平滑遷移

mysql dba data transfer 1. 背景 * InnoDB的表空間可以是共享的或獨立的。如果是共享表空間，則所有的表空間都放在一個文件裏：ibdata1,ibdata2..ibdataN，這種情況下，目前應該還沒辦法實現表空間的遷移，除非完全遷移。　 * 不管是共享還是獨立表空間

分享知識-快樂自己： Oracle數據庫實例、用戶、表、表空間之間關系

相同表數包含每一個 oracle版本有一個 http instance 但是數據庫：　　Oracle數據庫是數據的物理存儲。這就包括（數據文件ORA或者DBF、控制文件、聯機日誌、參數文件）。　　其實Oracle數據庫的概念和其它數據庫不一樣，這裏的數據庫是一

分享知識-快樂自己： Oracle資料庫例項、使用者、表、表空間之間關係

資料庫：　　Oracle資料庫是資料的物理儲存。這就包括（資料檔案ORA或者DBF、控制檔案、聯機日誌、引數檔案）。　　其實Oracle資料庫的概念和其它資料庫不一樣，這裡的資料庫是一個作業系統只有一個庫。可以看作是Oracle就只有一個大資料庫。例項：　　一個Oracle例項（Oracle

Oracle資料庫例項、使用者、表、表空間之間關係

資料庫：Oracle資料庫是資料的物理儲存。這就包括（資料檔案ORA或者DBF、控制檔案、聯機日誌、引數檔案）。其實Oracle資料庫的概念和其它資料庫不一樣，這裡的資料庫是一個作業系統只有一個庫。可以看作是Oracle就只有一個大資料庫。例項：一個Oracle例項（O

exp-imp實現oracle不同表空間的遷移

--1 在遷徙目標機上新建 create tablespace tzsb datafile 'I:\app\Administrator\oradata\orcl\tzsb01.dbf' size 500m create user wgm_tzsb identified

oracle資料庫_例項_使用者_表空間之間的關係

基礎概念：Oracle資料庫、例項、使用者、表空間、表之間的關係資料庫：Oracle資料庫是資料的物理儲存。這就包括（資料檔案ORA或者DBF、控制檔案、聯機日誌、引數檔案）。其實Oracle資料庫的概念和其它資料庫不一樣，這裡的資料庫是一個作業系統只有一個庫。可以看作

oracle 使用者與表空間之間的關係

使用者=商家表=商品表空間=倉庫 1個商家能有很多商品，1個商品只能屬於一個商家 1個商品可以放到倉庫A，也可以放到倉庫B，但不能同時放入A和B 倉庫不屬於任何商家商家都有一個預設的

postgres表空間、模式、表和用戶/角色之間的關系

cat postgre pass dbn ole search pat location 相同一、角色(role)和用戶(user) 1. role postgres=# create role kanon password ‘kanon‘;

將用戶當前表空間中的表和索引遷移到另一個表空間

數據庫對象遷移 oracle 查看INV用戶的對象的存儲情況select * from dba_segments ds where ds.owner='INV';--default tablespace users創建表空間INVcreate tablespace inv dat

MySQL5.7傳輸表空間——遷移分區表

flush 目標 utf8 存儲 nod db文件否則 exp 完成 Mysql 傳輸表空間--將InnoDB分區表復制到另一個實例（二）實驗環境：（都是mysql5.7）源庫：192.168.2.200 mysql5.7.16 zhangdb下的em

資料庫的例項、表空間、使用者、表之間關係

完整的Oracle資料庫通常由兩部分組成：Oracle資料庫和資料庫例項。 1) 資料庫是一系列物理檔案的集合（資料檔案，控制檔案，聯機日誌，引數檔案等）； 2) Oracle資料庫例項則是一組Oracle後臺程序/執行緒以及在伺服器分配的共享記憶體區。在啟動Oracl

Oracle 表空間和資料檔案之間的關係

首先，你需要明白的一點是：資料庫的物理結構是由資料庫的作業系統檔案所決定，每一個Oracle資料庫是由三種類型的檔案組成：資料檔案、日誌檔案和控制檔案。資料庫的檔案為資料庫資訊提供真正的物理儲存。每一個Oracle資料庫有一個或多個物理的資料檔案（data file）。一個數據庫的資料

轉oracle中的資料庫、使用者、方案、表空間、表物件之間的關係 .

最近在學習oracle，給我的第一個感覺就是甲骨文的體系太龐大了（因為我之前一直使用的是mysql，輕量級的資料庫）。而開始遇到的最糾結的問題，就是怎麼理清oracle中資料庫、使用者、方案、表空間、表物件之間的關係，如果這個問題搞不清楚，接下來的學習也就會雨裡霧裡了。所以，下定決心一定把它研究清楚

ORACLE資料庫、表空間、資料檔案之間的關係

完整的Oracle資料庫通常由兩部分組成：Oracle資料庫和資料庫例項。 1) 資料庫是一系列物理檔案的集合（資料檔案，控制檔案，聯機日誌，引數檔案等）； 2) Oracle資料庫例項則是一組Oracle後臺程序/執行緒以及在伺服器分配的共享記憶體區。在啟動

表遷移工具的選型-複製ibd的方法-傳輸表空間

1.1. 場景有的時候開放人員自己的庫需要幫忙導一些資料，但是表的資料量又很大。雖然說使用mysqldump或mysqlpump也可以導。但是這耗時需要比較久。記得之前建議開放人員可以直接使用navicat去抽取測試庫的資料。但是發現但遇到大表的時候，發現navicat會卡死。 1.2.&

hadoop叢集之間遷移分割槽表

這裡叢集的分割槽表是指的hive/impala表, 表儲存格式是parquet. 遷移的時候是指檔案的拷貝。下面我做一個案例演示。如果有大量的表要遷移，可以寫一個java程式，多執行緒控制。 1.檢視源叢集的表位置 [[email protected] ~]#

oracle表空間檔案系統遷移到ASM

1.配置測試環境建立資料表空間create tablespace test logging datafile '/home/oracle/test.dbf' size 10m autoextend on next 10m maxsize 2048m extent management local;建立使用者並

oracle表空間文件系統遷移到ASM

備份 value local lec max num 文件系統 space get 1.配置測試環境創建數據表空間create tablespace test logging datafile ‘/home/oracle/test.dbf‘ size 10m autoext

PostgreSQL的DB在表空間之間遷移

相關推薦