1. 程式人生 > >oracle 向mysql資料遷移

oracle 向mysql資料遷移

為什麼要遷移?

    首先從運營成本考慮,用MySQL可以節約不少的費用。另一方面,Mysql的穩定性及功能不斷地提高與增強,基本上可以滿足客戶的需求,如支援多 節點部署,資料分割槽等。還有就是Mysql使用方便,比Oracle簡單易用。故客戶就要求將已有的Oracle資料表與內容遷移到Mysql來。

    為什麼要自己寫指令碼?
    遷移的表與資料都蠻多的,有幾百張表。因此手工完成不太方便。也嘗試了一些免費的遷移工具,如:MySQLMigrationTool等,發現轉移 的欄位型別不太符合要求(可能是原來的Oracle表設計得不太好),會導致資料不太完整,覺得不是太可靠,所以決定自己寫遷移指令碼放心一些,有不符合要求的也可立即調整,所以就開始吧。

    所用到的技術支援

    1.php5

    2.PHP oci8

    3.mysql 5.1

    遷移表結構

    獲取schema所有表

    用以下語句可以從Oracle中獲得schema中所有的表名

SELECT table_name FROM user_tables

    然後可以遍歷所有表向mysql進行表結構的建立與資料的遷移工作。

    獲取單個表的所有欄位與型別

用以下語句可以從oracle中獲得單個表的所有欄位與型別

SELECT COLUMN_NAME, DATA_TYPE, DATA_LENGTH, NULLABLE, DATA_DEFAULT  
FROM USER_TAB_COLUMNS   WHERE TABLE_NAME = UPPER('{$table_name}') ORDER BY column_id ASC

    這樣可以得知表字段的名稱,型別,長度,是否允許為空,預設值。因為oracle與mysql的欄位型別並不完全相容,故需要建立欄位型別的對應關係表。

Oracle Mysql
number(<11)> int
number(>11) bigint
varchar varchar
varchar2(<255)> varchar
varchar2(>255) text
clob text
date date

    獲取單個表的Primary Foreign Unique Key用以下語句可以從oracle中獲得單個表的Primary Foreign Unique Key

SELECT C.CONSTRAINT_NAME, C.CONSTRAINT_TYPE, C.R_CONSTRAINT_NAME, C.DELETE_RULE, 
CC.COLUMN_NAME      FROM USER_CONSTRAINTS C, USER_CONS_COLUMNS CC 
WHERE C.TABLE_NAME=upper('{$table_name}') AND C.CONSTRAINT_TYPE!='C' 
AND C.CONSTRAINT_NAME=CC.CONSTRAINT_NAME AND C.OWNER=CC.OWNER AND C.TABLE_NAME=CC.TABLE_NAME
ORDER BY C.CONSTRAINT_TYPE, C.CONSTRAINT_NAME, CC.POSITION<constraint_type style="margin: 0px; padding: 0px; word-wrap: break-word;" 為="" ?p?則取得表的所有primary="" ?u?則取得表的所有unique="" ;為="" ?r?則取得表的所有foreign="" key="" ;<="" pre="">

    獲取單個表的索引

    用以下語句可以從oracle中獲得單個表的索引

SELECT T.INDEX_NAME,T.COLUMN_NAME,I.INDEX_TYPE FROM USER_IND_COLUMNS T,USER_INDEXES I 
WHERE T.INDEX_NAME = I.INDEX_NAME AND T.TABLE_NAME = I.TABLE_NAME AND 
T.TABLE_NAME = UPPER('{$table_name}')

    這樣可以獲知表的索引名稱,被索引的欄位。

    將所有的表資訊組裝成mysql的表結構 有了表名,欄位資訊,主鍵,Foreign, Unique.索引等資訊,就可以將表結構建立起來。由於oracle沒有自增欄位,一個變通的方法是用primary key做為mysql中的自增欄位,因為在oracle中沒辦法準確地知道哪個欄位用到了seq來做自增,用這種方法也不是很準確。

遷移檢視

    獲取schema所有views。用以下語句可以從oracle中獲取schema所有views

SELECT VIEW_NAME,TEXT      FROM USER_VIEWS

    這樣可以獲得view的名稱及建立view的構成語句。

Oracle與Mysql不相容的view處理

    Oracle的對view的構建語句比較寬鬆一些,mysql中對view的構建語句要嚴格些,from不能從子查詢中構建,也就是人樣的讓語句是不被允許的。

CREATE VIEW `view_name` AS SELECT * FROM (SELECT * FROM table_name) ...

    那麼處理這樣的view,有一個辦法是將子查詢再建立成一個view,將子查詢替換成新建立的view名即可。

遷移資料

    資料的遷移,從Oracle資料庫中select出資料,拼裝成Mysql的insert語句就可以了。需要注意的兩點:一是oracle的日期類 型的資料格式與mysql的日期型別格式不太一致,所以要用TO_CHAR(field_name, 'YYYY-MM-DD')將其轉換成mysql的相應的資料格式;二是oracle中的clob欄位的內容要用 oci_fetch_array($stid, OCI_ASSOC|OCI_RETURN_NULLS|OCI_RETURN_LOBS)將其取出,插入到mysql的text欄位。 在mysql插入大量資料時,還要注意,在window的my.ini或my.cnf預設max_allowed_packet是1M要將其改為

[mysqld]...max_allowed_packet = 16M...

    要不會出現mysql goes away的錯誤,linux版本沒有這個問題,因為其預設值就是16M。

不能遷移的內容

    Oracle中的觸發器、儲存過程與Mysql中是不一樣的,所以不能通過指令碼程式自動遷移過去。要手工進行重寫。

    總結

    從Oracle向Mysql資料遷移,table結構與資料是基本上可以平移過去的,view有些還不是完全相容oracle的語句,所以要對其作 出一些中間表。觸發器與儲存過程是不能平移的,這兩部份需要重寫。表結構平移過去後,看是否都比較合適,如果覺得不太好還可以通過alter等語句對其進 行相應的調整。在匯入大量資料時還要注意一下mysql的配置檔案(my.ini或my.cnf)裡的max_allowed_packet值,這應設定 得太小,以免匯入資料時出錯或導不進去或亂碼等不穩定因素