1. 程式人生 > >ETL工具kettle基本使用

ETL工具kettle基本使用

1.下載kettle:https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.0/pdi-ce-7.0.0.0-25.zip/download

說明:kettle 是pentaho收購的一個etl工具,pentaho是一家BI解決方案的商業公司。

2.解壓檔案:pdi-ce-7.0.0.0-25.zip,執行:spoon.bat

3.在mysql中建立兩個資料庫:test1和test2,在test1中建立user1表,在test2中建立user2表用來測試

3.測試操作資料庫test1中的user1表和資料庫test2中的user2表

3.1 新建一個轉換(transformation),點選DB連線,選擇對應資料庫型別,建立兩個連線:l1,l2.

若測試連接出現錯誤:

錯誤連線資料庫 [localhost_3306] : org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the database Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.
org.gjt.mm.mysql.Driver 將mysql-connector-java-5.1.38-bin.jar拷貝至目錄:pdi-ce-7.0.0.0-25\data-integration\lib下 ,重啟程式,新建DB連線:
3.2 在【核心物件】下的【輸入】中找到【表輸入】,雙擊滑鼠左鍵將【表輸入】新增到“轉換的圖形檢視”中,然後在【輸出】找到【插入/更新】新增到“轉換的圖形檢視”中,效果如下: 3.3 在檢視中雙擊【表輸入】,選擇輸入資料庫和修改所需SQL查詢語句: 3.4  雙擊【插入/更新】,選好要插入的資料庫和表,再點選【獲取欄位】,【獲取和更新欄位】: 3.5 此時,可點選【執行】或F9,執行此轉換,成功後的user2表如下圖: 3.6 設定定時執行轉換:新建一個job,將【START】和【轉換】新增到檢視中,設定關聯轉換檔案和定時時間: 設定好後,點選【執行】,就會根據你設定的時間間隔來執行相應的“轉化”了。