Kettle完成不同資料庫的表遷移
阿新 • • 發佈:2019-02-02
需求:
1.你是否遇到了需要將mysql資料庫中的所有表與資料遷移到Oracle。
2.你是否還在使用kettle重複的畫著:表輸入-表輸出、建立表,而煩惱。
下面為你實現了一套通用的資料庫遷移流程。
技術引導:
實現之初,在kettle提供的例子中找到了一個類似的(samples\jobs\process all tables)。
通過相關改造,終於達到目標。
實現過程解剖:
整套流程分為:2個job,4個trans。
使用到的Trans外掛:表輸入、欄位選擇、複製記錄到結果、從結果獲取記錄、設定變數、自定義java指令碼、表輸出。
1.大job。
2.要遷移的源庫表名稱獲取,並設定到結果集,為下面的job使用。
3.配置子job為前面的每一條記錄(即每個表)執行一次該子job
4.下面是子job。
5.獲取記錄中的表名稱,並設定為到變數。
6.讀取當前表的結果資訊,並在目標庫中建立表(這個是難點)。
因為只需要獲取抓取要抽取表的結構資訊,故在sql後面加上 where 1=2。
下面程式碼是建立目標庫表。
Java程式碼
7.表資料遷移。
8.差不多就行了,本人使用mysql到mysql、oracle的測試是沒有問題的不過在測試過程中,發現源表若存在有blob的表,會有問題,可能是由於表輸出沒有指定欄位的原因,具體解決辦法,也沒有去多想,以後有時間在完善把。
1.你是否遇到了需要將mysql資料庫中的所有表與資料遷移到Oracle。
2.你是否還在使用kettle重複的畫著:表輸入-表輸出、建立表,而煩惱。
下面為你實現了一套通用的資料庫遷移流程。
技術引導:
實現之初,在kettle提供的例子中找到了一個類似的(samples\jobs\process all tables)。
通過相關改造,終於達到目標。
實現過程解剖:
整套流程分為:2個job,4個trans。
使用到的Trans外掛:表輸入、欄位選擇、複製記錄到結果、從結果獲取記錄、設定變數、自定義java指令碼、表輸出。
1.大job。
2.要遷移的源庫表名稱獲取,並設定到結果集,為下面的job使用。
3.配置子job為前面的每一條記錄(即每個表)執行一次該子job
4.下面是子job。
5.獲取記錄中的表名稱,並設定為到變數。
6.讀取當前表的結果資訊,並在目標庫中建立表(這個是難點)。
因為只需要獲取抓取要抽取表的結構資訊,故在sql後面加上 where 1=2。
下面程式碼是建立目標庫表。
Java程式碼
- publicboolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException
- {
- // First, get a row from the default input hop
- //
- Object[] r = getRow();
- org.pentaho.di.core.database.DatabaseMeta dbmeta = null;
- java.util.List list = getTrans().getRepository().readDatabases();//3.x中獲取資源庫的所有資料庫連線資訊用getDatabases();
- if(list != null && !list.isEmpty())
- {
- for(int i=0;i<list.size();i++)
- {
- dbmeta = (org.pentaho.di.core.database.DatabaseMeta)list.get(i);
- //下面是目標庫的資料庫連線,大家可根據需要修改
- if("mysql_test".equalsIgnoreCase(dbmeta.getName()))
- {
- break;
- }
- }
- }
- if(dbmeta!=null)
- {
- org.pentaho.di.core.database.Database db=new org.pentaho.di.core.database.Database(dbmeta);
- try
- {
- db.connect();
- String tablename = getVariable("TABLENAME");
- logBasic("開始建立表:" + tablename);
- if(tablename!=null && tablename.trim().length()>0)
- {
- String sql = db.getDDL(tablename, data.inputRowMeta);//${TABLENAME}
- db.execStatement(sql.replace(";", ""));
- logBasic(sql);
- }
- }
- catch(Exception e)
- {
- logError("建立表出現異常",e);
- }finally{
- db.disconnect();
- }
- }
- returnfalse;
- }
7.表資料遷移。
8.差不多就行了,本人使用mysql到mysql、oracle的測試是沒有問題的不過在測試過程中,發現源表若存在有blob的表,會有問題,可能是由於表輸出沒有指定欄位的原因,具體解決辦法,也沒有去多想,以後有時間在完善把。
上面的整套流程的是在kettle4.3下完成的,附件裡面可下載完整流程。下載地址如下:
http://download.csdn.net/detail/feng19821209/4846668
原文地址:http://ainidehsj.iteye.com/blog/1735434