1. 程式人生 > >kattle的連接SQLserver與vertica的一些方法

kattle的連接SQLserver與vertica的一些方法

sqlserver vertica kattle

今天簡單的學習了一下ETL工具kattle了,只是簡單的上手,不過這也已經夠我去做POC了。

首先大體介紹一下kattle,Kettle是一款國外開源的ETL工具,純java編寫,可以在Window、Linux、Unix上運行,綠色無需安裝,數據抽取高效穩定。因為有客戶在使用這個,為了跟客戶交流時不至於不懂,所有今天就稍微弄了一下,還行,基本能完成我的工作。

首先在kattle官網下載kattle,然後解壓文件,打開裏面的spoon.bat就可以運行它了,很簡單。

現在我是有這樣的需求的,需要將SQLserver的數據在不用導出的情況下直接導入到vertica中,以前也一直有這樣的需求,今天剛好,稍微學習一下,以後弄起來就方便了。因為需要跟vertica和SQLserver連接,所以同時需要下載vertica的jdbc和SQLserver的jdbc,這個需要準備好,還有可能需要jtds.jar包,如果沒有的話,會在使用的時候報錯的。所以提前將其下載下來。具體的下載地址我就不附上了,隨便搜搜就能找到。那就將今天我所整理的簡單說一下。

在進行數據庫連接的時候遇到一些問題,現在是解決方法:

1、sqlserver數據庫

首先安裝好sqlserver服務器:

為了能遠程連接,在sqlserver配置管理器中需要將SQL Server browser設置為啟動狀態

技術分享圖片

如果無法設定,那就在服務中先將該服務設置為手動啟動,再在配置管理器中啟動該服務。

技術分享圖片

然後將配置管理器中將TCP/IP協議啟動。

技術分享圖片

並將端口輸入,重啟服務。

技術分享圖片

由於kattle需要sqlserver的驅動,在網上下載sqlserver的驅動程序:

需要對應java版本的驅動:

技術分享圖片

將其放入到kattle的lib目錄下。

有時候發生無法找到jtds.jar包,這時候就需要下載該jar放到lib目錄下。

技術分享圖片

在kattle中新建一個轉換,在轉換中新建一個DB連接。

技術分享圖片

輸入連接名稱,主機名稱,數據庫名稱(輸入一下的數據庫名稱才正確),實例名稱,用戶名和密碼,測試。

技術分享圖片

技術分享圖片

再新建一個vertica連接,下載對應的vertica驅動程序並放在lib目錄下:

技術分享圖片

輸入主機名,數據庫名稱,用戶名,密碼,測試連接

技術分享圖片

在核心對象中找到輸入和輸出

技術分享圖片

打開輸入:

添加表輸入

技術分享圖片

打開輸出:添加插入和更新

技術分享圖片

添加到右邊的空白處。

按shift鍵將兩者連起來。

技術分享圖片

雙擊表輸入:

技術分享圖片

選擇數據庫,點擊獲取SQL查詢語句,選擇某張表。可以先預覽看看是否有數據。點擊確定。

雙擊插入/更新

技術分享圖片

選擇數據庫連接,目標表,獲取字典,獲取和更新字段,點擊SQL ,執行創建表語句,確定。

技術分享圖片

啟動程序:

技術分享圖片

查看結果:

技術分享圖片


kattle的連接SQLserver與vertica的一些方法