使用DBMS_REDEFINITION線上切換普通表到分割槽表
隨著資料庫資料量的不斷增長,有些表需要由普通的堆錶轉換為分割槽表的模式。有幾種不同的方法來對此進行操作,諸如匯出表資料,然後建立分割槽表再匯入資料到分割槽表;使用EXCHANGE PARTITION方式來轉換為分割槽表以及使用DBMS_REDEFINITION來線上重定義分割槽表。本文描述的是使用DBMS_REDEFINITION來實現,下面是具體的操作示例。
1、準備環境
--建立使用者 SQL> create user leshami identified by xxx; SQL> grant dba to leshami; --建立演示需要用到的表空間 SQL> create tablespace tbs_tmp datafile '/u02/database/SYBO2/oradata/tbs_tmp.dbf' size 10m autoextend on; SQL> alter user leshami default tablespace tbs_tmp; SQL> create tablespace tbs1 datafile '/u02/database/SYBO2/oradata/tbs1.dbf' size 10m autoextend on; SQL> create tablespace tbs2 datafile '/u02/database/SYBO2/oradata/tbs2.dbf' size 10m autoextend on; SQL> create tablespace tbs3 datafile '/u02/database/SYBO2/oradata/tbs3.dbf' size 10m autoextend on; SQL> conn leshami/xxx -- 建立一個lookup表 CREATE TABLE lookup ( id NUMBER(10), description VARCHAR2(50) ); --新增主鍵約束 ALTER TABLE lookup ADD ( CONSTRAINT lookup_pk PRIMARY KEY (id) ); --插入資料 INSERT INTO lookup (id, description) VALUES (1, 'ONE'); INSERT INTO lookup (id, description) VALUES (2, 'TWO'); INSERT INTO lookup (id, description) VALUES (3, 'THREE'); COMMIT; --建立一個用於切換到分割槽的大表 CREATE TABLE big_table ( id NUMBER(10), created_date DATE, lookup_id NUMBER(10), data VARCHAR2(50) ); --填充資料到大表 DECLARE l_lookup_id lookup.id%TYPE; l_create_date DATE; BEGIN FOR i IN 1 .. 1000000 LOOP IF MOD(i, 3) = 0 THEN l_create_date := ADD_MONTHS(SYSDATE, -24); l_lookup_id := 2; ELSIF MOD(i, 2) = 0 THEN l_create_date := ADD_MONTHS(SYSDATE, -12); l_lookup_id := 1; ELSE l_create_date := SYSDATE; l_lookup_id := 3; END IF; INSERT INTO big_table (id, created_date, lookup_id, data) VALUES (i, l_create_date, l_lookup_id, 'This is some data for ' || i); END LOOP; COMMIT; END; / --為大表新增主、外來鍵約束,索引,以及新增觸發器等. ALTER TABLE big_table ADD ( CONSTRAINT big_table_pk PRIMARY KEY (id) ); CREATE INDEX bita_created_date_i ON big_table(created_date); CREATE INDEX bita_look_fk_i ON big_table(lookup_id); ALTER TABLE big_table ADD ( CONSTRAINT bita_look_fk FOREIGN KEY (lookup_id) REFERENCES lookup(id) ); CREATE OR REPLACE TRIGGER tr_bf_big_table BEFORE UPDATE OF created_date ON big_table FOR EACH ROW BEGIN :new.created_date := TO_CHAR (SYSDATE, 'yyyymmdd hh24:mi:ss'); END tr_bf_big_table; / --收集統計資訊 EXEC DBMS_STATS.gather_table_stats('LESHAMI', 'LOOKUP', cascade => TRUE); EXEC DBMS_STATS.gather_table_stats('LESHAMI', 'BIG_TABLE', cascade => TRUE); --表上的索引相關資訊 SQL> @idx_info TABLE_NAME INDEX_NAME CL_NAM STATUS PAR ------------------------- ------------------------------ -------------------- -------- --- LOOKUP LOOKUP_PK ID VALID NO BIG_TABLE BIG_TABLE_PK ID VALID NO BIG_TABLE BITA_CREATED_DATE_I CREATED_DATE VALID NO BIG_TABLE BITA_LOOK_FK_I LOOKUP_ID VALID NO --建立一箇中間表(分割槽表) CREATE TABLE big_table2 ( id NUMBER(10), created_date DATE, lookup_id NUMBER(10), data VARCHAR2(50) ) PARTITION BY RANGE (created_date) (PARTITION big_table_2012 VALUES LESS THAN (TO_DATE('01/01/2013', 'DD/MM/YYYY')) tablespace tbs1, PARTITION big_table_2013 VALUES LESS THAN (TO_DATE('01/01/2014', 'DD/MM/YYYY')) tablespace tbs2, PARTITION big_table_2014 VALUES LESS THAN (MAXVALUE) tablespace tbs3);
2、切換普通表到分割槽表
----校驗表能否被重定義 EXEC DBMS_REDEFINITION.CAN_REDEF_TABLE('LESHAMI', 'BIG_TABLE'); --開始重定義 BEGIN DBMS_REDEFINITION.start_redef_table( uname => 'LESHAMI', orig_table => 'BIG_TABLE', int_table => 'BIG_TABLE2'); END; / --可選步驟,用於同步重定義表與臨時表 BEGIN dbms_redefinition.sync_interim_table( uname => 'LESHAMI', orig_table => 'BIG_TABLE', int_table => 'BIG_TABLE2'); END; / --為中間表新增相應的索引,約束等 ALTER TABLE big_table2 ADD ( CONSTRAINT big_table_pk2 PRIMARY KEY (id) ); CREATE INDEX bita_created_date_i2 ON big_table2(created_date) LOCAL; CREATE INDEX bita_look_fk_i2 ON big_table2(lookup_id) LOCAL; ALTER TABLE big_table2 ADD ( CONSTRAINT bita_look_fk2 FOREIGN KEY (lookup_id) REFERENCES lookup(id) ); --為中間表新增觸發器 CREATE OR REPLACE TRIGGER tr_bf_big_table2 BEFORE UPDATE OF created_date ON big_table2 FOR EACH ROW BEGIN :new.created_date := TO_CHAR (SYSDATE, 'yyyymmdd hh24:mi:ss'); END tr_bf_big_table2; / -- Gather statistics on the new table. EXEC DBMS_STATS.gather_table_stats('LESHAMI', 'BIG_TABLE2', cascade => TRUE); --完成線上重定義 BEGIN dbms_redefinition.finish_redef_table( --Author : Leshami uname => 'LESHAMI', --Blog : http://blog.csdn.net/leshmai orig_table => 'BIG_TABLE', int_table => 'BIG_TABLE2'); END; / --可以看到新的表BIG_TABLE上的索引已經成為分割槽索引,如最後一列所示 SQL> @idx_info TABLE_NAME INDEX_NAME CL_NAM STATUS PAR ------------------------------ ------------------------------ ------------------------------ -------- --- BIG_TABLE BIG_TABLE_PK2 ID VALID NO BIG_TABLE BITA_LOOK_FK_I2 LOOKUP_ID N/A YES BIG_TABLE BITA_CREATED_DATE_I2 CREATED_DATE N/A YES BIG_TABLE2 BITA_CREATED_DATE_I CREATED_DATE VALID NO BIG_TABLE2 BIG_TABLE_PK ID VALID NO BIG_TABLE2 BITA_LOOK_FK_I LOOKUP_ID VALID NO LOOKUP LOOKUP_PK ID VALID NO --校驗分割槽表 SQL> select table_name, partition_name,high_value,num_rows from user_tab_partitions where table_name='BIG_TABLE'; TABLE_NAME PARTITION_NAME HIGH_VALUE NUM_ROWS ------------------------- ------------------------------ ------------------------------- ---------- BIG_TABLE BIG_TABLE_2012 TO_DATE(' 2013-01-01 00:00:00', 333793 BIG_TABLE BIG_TABLE_2013 TO_DATE(' 2014-01-01 00:00:00', 332025 BIG_TABLE BIG_TABLE_2014 MAXVALUE 333128
3、切換後的收尾工作
--移除中間表 DROP TABLE big_table2; --根據需要可以重新命名索引及約束名 ALTER TABLE big_table RENAME CONSTRAINT big_table_pk2 TO big_table_pk; ALTER TABLE big_table RENAME CONSTRAINT bita_look_fk2 TO bita_look_fk; ALTER INDEX big_table_pk2 RENAME TO big_table_pk; ALTER INDEX bita_look_fk_i2 RENAME TO bita_look_fk_i; ALTER INDEX bita_created_date_i2 RENAME TO bita_created_date_i;
4、其它
--在使用DBMS_REDEFINITION期間,如果我們使用COPY_TABLE_DEPENDENTS過程,其索引依舊為非分割槽索引
--需要刪除原來的索引之後,然後重新建立為新的本地分割槽索引
/*SQL> set timing off
SQL> variable num_errors number
BEGIN
DBMS_REDEFINITION.COPY_TABLE_DEPENDENTS
(uname=>'LESHAMI',
orig_table=>'BIG_TABLE',
int_table=>'BIG_TABLE2',
num_errors=>:num_errors);
END;
/
SQL> print num_errors
NUM_ERRORS
----------
0 */
--------------------------------------------------------
--如下為使用COPY_TABLE_DEPENDENTS依賴物件之後表BIG_TABLE2多出了幾個TMP$$開頭的索引,但是索引依舊為普通索引,而非分割槽索引
SQL> @idx_info2
TABLE_NAME INDEX_NAME CL_NAM CL_POS STATUS PAR
------------------------- ------------------------------ -------------------- ------ -------- ---
LOOKUP LOOKUP_PK ID 1 VALID NO
BIG_TABLE BIG_TABLE_PK ID 1 VALID NO
BIG_TABLE BITA_CREATED_DATE_I CREATED_DATE 1 VALID NO
BIG_TABLE BITA_LOOK_FK_I LOOKUP_ID 1 VALID NO
BIG_TABLE2 TMP$$_BIG_TABLE_PK0 ID 1 VALID NO
BIG_TABLE2 TMP$$_BITA_CREATED_DATE_I0 CREATED_DATE 1 VALID NO
BIG_TABLE2 TMP$$_BITA_LOOK_FK_I0 LOOKUP_ID 1 VALID NO
相關推薦
使用DBMS_REDEFINITION線上切換普通表到分割槽表
隨著資料庫資料量的不斷增長,有些表需要由普通的堆錶轉換為分割槽表的模式。有幾種不同的方法來對此進行操作,諸如匯出表資料,然後建立分割槽表再匯入資料到分割槽表;使用EXCHANGE PARTITION方式來轉換為分割槽表以及使用DBMS_REDEFINITION來線
hive:普通表 外部表 分割槽表
1. 普通表 普通表的建立,如上所說,不講了。其中,一個表,就對應一個表名對應的檔案。 2. 外部表 EXTERNAL 關鍵字可以讓使用者建立一個外部表,在建表的同時指定一個指向實際資料的路徑(L
Hive建表(分割槽表、非分割槽表)例項
USE ODS; DROP TABLE IF EXISTS s01_t_sys_file; CREATE TABLE s01_t_sys_file ( id STRING COMMENT '自增長列id', biz_id STRING CO
Hive之管理表 外部表 分割槽表
一Hive 建立表的三種方式 1.1普通建立 1.2查詢語句建立 CREATETABLE IF NOT EXISTS ext_1 AS SELECT deptno,dname,loc FROMdep
Hive筆記三之內部表,外部表,分割槽表,桶表
內部表 也稱為受控表,表中的資料受表定義影響,表刪除後表中資料隨之刪除。在COLUMNS_V2表中TBL_TYPE顯示為MANAGED_TABLE 表刪除後實際上是從hdfs上將t1目錄移到回收站中,另外刪除TBLS表中的表定義資訊 hive> drop ta
動手實驗 Oracle 線上重定義普通表為分割槽表
#表的線上重定義 #普通的堆表定義為分割槽表 #思路-----現有emp1表,需要定義為分割槽表.需要一個臨時分割槽表emp1_temp.把emp1_temp定義為分割槽表之後,將emp1 和 emp1_temp進行互換。 #完成emp1定義為分割槽表 #構造emp1 [e
ORACLE線上重定義--將普通錶轉化為分割槽表
10gR2 需要將一個普通錶轉為按月分割槽提高查詢效率 測試如下: 一、建立測試表 SQL> CREATE TABLE T(ID NUMBER ,TIME DATE); Table created. SQL> DESC T; Name
使用ORACLE線上重定義將普通表改為分割槽表
1.首先建立測試表,並插入測試資料: create table myPartition(id number,code varchar2(5),identifier varchar2(20)); insert into myPartition values(1,'01','
Oracle dbms_redefinition線上重定義表結構
剛接手一套系統應用資料庫,因為專案建設期間種種原因,庫是非歸檔模式也沒有備份,更讓我無語的是有個表增長的比較快,將近90G大小,每隔一段時間都要刪除前三個月以前的資料,然後再用shrink收縮空間,因為是非分割槽表,shrink很是浪費時間,而且很多時間無法正常完成shri
Oracle普通表修改為分割槽表的方法
資料庫版本是9.2.0.6 需要將幾個1T左右的普通表變更為分割槽表. 嘗試過下面三種方法: 1.先建立空的分割槽表,然後將原表中的資料insert進去; 2.使用Oracle的線上重定義工具 3.CTAS方法. 執行辦法,比較: 第一種方法:先建立空的分割槽表,然後將原
程式碼 | Spark讀取mongoDB資料寫入Hive普通表和分割槽表
版本: spark 2.2.0 hive 1.1.0 scala 2.11.8 hadoop-2.6.0-cdh5.7.0 jdk 1.8 MongoDB 3.6.4 一 原始資料及Hive表 MongoDB資
mysql 普通錶轉分割槽表
1.按照現有表結構,建立一個臨時表,用於分割槽錶轉換 mysql> desc ClientActionTrack; +---------------+---------------+------+-----+---------+----------------+ |
oracle中將普通表變更為分割槽表
1、建立表 SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE); 2、插入資料 SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;S
11G普通分割槽錶轉化為間隔分割槽表
--建立普通範圍分割槽表CREATE TABLE clg_range_table2(req_num NUMBER NOT NULL, req_date DATE NOT NULL, status VARCHAR2(2) not NULL)PARTITION BY RA
SQL Server 2005中的分割槽表(六):將已分割槽錶轉換成普通表
我的俄羅斯名叫作“不折騰不舒服斯基”,所以,不將分割槽表好好折騰一下,我就是不舒服。 在前面,我們介紹過怎麼樣直接建立一個分割槽表,也介紹過怎麼將一個普通錶轉換成一個分割槽表。那麼,這兩種方式建立的表有什麼區別呢?現在,我又最新地建立了兩個表: 第
Hive內部表、外部表、分割槽表以及外部分割槽表建立以及匯入資料例項講解
源資料格式: [[email protected]144113 zhang_dd_edw]$ more data.txt 25502#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-
PostgreSQL11分割槽表的新特性
本文主要介紹PostgreSQL11分割槽表的一些新的特性,實現了PostgreSQL10版本中無法實現的一些功能。 1、UPDATE操作可以跨分割槽移動行 PostgreSQL 10不允許執行可能導致更新結束時行會移動到其他不同分割槽的更新。但是在PostgreSQL 11中,是可以這
2.ORACLE分割槽表遷移MySQL分割槽表
介紹 由於MySQL沒有類似於ORACLE間隔分割槽類似的功能,所以遷移分割槽表的時候工作量較大,下面就把常用到的一些工具指令碼及操作過程列在下面。 操作 1 修改分割槽表定義 ORACLE增加了間隔分割槽功能,可以在資料插入的時候自動新增分割槽,但是MySQL就不具備這個功
sql server 建立分割槽表
建立檔案組 alter database db_sp_360toandroid add filegroup Before201701alter database db_sp_360toandroid add filegroup userEventInfo201701alter databa
網際網路公司為啥不使用mysql分割槽表?
解決什麼問題? 回答:當mysql單表的資料庫過大時,資料庫的訪問速度會下降,“資料量大”問題的常見解決方案是“水平切分”。 mysql常見的水平切分方式有哪些? 回答:分庫分表,分割槽表 什麼是mysql的分庫分表? 回答:把一個很大的庫(表