1. 程式人生 > >使用kettle進行不同資料庫的資料匯入

使用kettle進行不同資料庫的資料匯入

kettle下載地址:community.pentaho.com/projects/data-integration/

一、準備工作

1.解壓下載下來的壓縮包如:pdi-ce-6.1.0.1-196.zip
然後開啟Spoon.bat
這裡寫圖片描述
2.建立轉換。
(在連線資料庫的時候,可能會遇到資料庫驅動包不存在的問題,下載好對應的驅動包放到kettle的lib資料夾重啟一下軟體就可以了。)
在檔案->新建轉換。
新建轉換後在左邊的主物件樹中建立DB連線用以連線資料庫。
這裡寫圖片描述

二、開始導資料

1、新建表插入
在左邊的面板中選擇“核心物件”,在核心物件裡面選擇“輸入->表輸入”,用滑鼠拖動到右邊面板。
這裡寫圖片描述

雙擊拖過來的表,可以編輯表輸入。
選擇資料庫連線和編輯sql語句,在這一步可以點選預覽,檢視自己是否連線正確。
這裡寫圖片描述

資料庫連線按照通俗的配置就可以了
這裡寫圖片描述

2)通過表輸出到另外一個數據庫的表。
在左邊面板中選擇核心物件、選擇“輸出->表輸出”如圖所示:

這裡寫圖片描述
編輯表輸出:
首先:表輸入連線表輸出
選中表輸入,按住shift鍵,拖向表輸出。
這裡寫圖片描述
然後:雙擊表輸出,編輯它。
這裡寫圖片描述
到這裡基本上,這個轉換就要做完了,可以點選執行檢視效果,看是否有誤,這個要先儲存了才能執行,可以隨意儲存到任何一個地方。

相關推薦

使用kettle進行不同資料庫資料匯入

kettle下載地址:community.pentaho.com/projects/data-integration/ 一、準備工作 1.解壓下載下來的壓縮包如:pdi-ce-6.1.0.1-196.zip 然後開啟Spoon.bat 2.建立轉

如何將不同型別資料匯入Elaticsearch中?

題記 Elaticsearch的原理明白了以後,手頭有很多不同型別的資料,如: 1)單條資料,如程式中自己構造的JSON格式資料; 2)符合Elasticsearch索引規範的批量資料; 3)日誌檔案,格式*.log; 4)結構化資料,儲存在mysql

JAVA實現資料庫資料匯入/匯出到Excel(POI技術)

準備工作: 1.匯入POI包:POI下載地址:http://download.csdn.net/detail/zxm1306192988/9522142(重要) 如下 2.匯入匯出到Excel工具類ExcelUtil.java,封裝了POI對Excel的操作 pa

postgresql資料庫資料匯入匯出

from—— 前輩指導 匯出資料庫 1.匯出單個表 從ip為xxx的資料庫monitor中匯出threshold的表結構和資料到本地檔案threshold.sql: pg_dump -t threshold -h 135.32.94.142 monito

MySQL資料庫資料匯入到Redis

一:編寫sql指令碼 sql.sql SELECT CONCAT( "*4\r\n", \'$\', LENGTH(redis_cmd), \'\r\n\', redis_cmd, \'\r\n\', \'$\', LENGTH(redis_ke

Python實現資料庫資料匯入Excel

1 任務簡介把PostgreSql資料庫中5張表的資料匯出到Excel檔案中,查詢的欄位涉及到5張表,所以需要聯合查詢,其中還有兩張表存在自引用,所以還會更復雜一些。2 工具使用psycopg2模組連線資料庫使用xlwt模組操作Excel檔案2.1 psycopg2這個模組用

33.如何將不同型別資料匯入Elaticsearch中(ES同步小結)

題記Elaticsearch的原理明白了以後,手頭有很多不同型別的資料,如: 1)單條資料,如程式中自己構造的JSON格式資料; 2)符合Elasticsearch索引規範的批量資料; 3)日誌檔案,格式*.log; 4)結構化資料,儲存在mysql、oracle等關係型資料

Kettle完成不同資料庫的表遷移

需求: 1.你是否遇到了需要將mysql資料庫中的所有表與資料遷移到Oracle。 2.你是否還在使用kettle重複的畫著:表輸入-表輸出、建立表,而煩惱。 下面為你實現了一套通用的資料庫遷移流程。 技術引導: 實現之初,在kettle提供的例子中找到了一個類似的(sam

Oracle 9i 資料庫 資料匯入和匯出的最簡單的方法

匯出命令:Exp <username>/<password>@[<netname>]  owner=<ownername> file=<filepath>解釋一下:資料匯出要用到EXP命令,直接執行cmd,輸入實際的

SQL Server BI Step by Step --- 使用SSIS進行簡單的資料匯入匯出

 讓我們首先開始學習SSIS吧,利用SSIS把SQL Server中的資料匯出.首先,開啟Vs.net 2005,選擇商業智慧專案,然後選擇模板中的Integration Service專案,輸入專案名稱:              建立好後,我們就在預設的Package

Oracle11G的資料庫資料匯入匯出(由11g上匯出匯入10g資料庫等)

常用命令 EXPDP USERID=’scott/[email protected] as sysdba’ schemas=scott directory=DATA_PUMP_DIR dumpfile=dp.dmp logfile=dp.log ve

kettle 含參hadoop資料匯入,過濾

kettle如果資料量過大在job的迴圈時,可能會出現程式崩潰問題,因此不採用變數傳遞方法去sql裡不斷查詢資料 不過kettle自帶的過濾資料無法傳入動態引數,因此這兒提供一種方法,將過濾資料匯出方法 將所有資料先查詢出來,放到hadoop裡,再通過 hado

資料庫五分鐘一條的資料,現根據輸入不同的時間進行不同間隔的查詢

第二:Sqlserver獲取行號: select row_number() over(order by Time) as row_number,* from Record where Dev

如何把區域網內不同資料庫的兩個表的資料進行傳輸?

應用場景:當測試資料庫的資料不小心被清空了,需要從別的庫裡把資料恢復過來;或者測試庫增加了某表的一些資料,正式庫需要同時更新(當然穩妥的是儲存更新語句)等等,這時就需要用到這個小技巧了。 第一句是把b表中的選單表的資料放到當前資料庫中,並且新建一張tmenu表: select * into TMENU f

kettle實現不同型別資料庫表結構和資料的同步

由於專案需要,從informix資料中將表結構和資料同步到oracle資料庫,經研究informix資料庫建立類似oracle的db-link功能較為困難,自己又不想手動建表,於是研究利用kettle工具,實現從informix資料庫建表到oracle資料庫,方法如下: 1、安裝kettle

使用kettle將文字檔案中的資料匯入資料庫

1.準備好如下資料(以|鍵分割) JY01011604280016|JY010116042800160019|1|1|2017-04-27|1000000.00|121666.66|1000000.00|121666.66| |01 |

將excel資料匯入到mysql資料庫

框架用的是thinkphp3.2框架 //將Excel匯入到資料庫的思想是:先將Excel中的資料轉為php陣列,然後執行addAll操作 public function upload() { ini_set('memory_limit', '1024M'); if (!empty(

IO流讀取資料檔案,將資料寫入資料庫,並記錄資料匯入日誌

流程分析: 資料型別: ROUTE_ID,LXBM,ROAD_NAME,SRC_LON,SRC_LAT,DEST_LON,DEST_LAT 10000,G50,滬渝高速,115.8605349,30.08934467,115.5437817,30.08898601 10001,G

在Django框架下向MongoDB資料庫匯入.scv檔案資料

在學習了一些MongoDB和Django框架的一些基礎知識後,我對MongoDB以及Django知識已經有了一個初步的掌握,是時候對學長的專案裡面的東西進行一個初步的實踐了,於是我選擇從Django框架中向MongoDB匯入資料的這部分程式碼開始。通過複用幾段學長專案裡的程式碼,在我自己新建的專案中

使用POI將資料匯入匯出資料庫

POI將資料匯入匯出資料庫。(採用ssm框架) 1.前臺列表的展示 <script type="text/javascript"> //進行資料的全選 function selectAll(){ var ids=document.get