前提

Kettle是純Java編寫的ETL開源工具，目前Kettle7和Kettle8都需要Java8或者以上才能正常執行。所以開執行Kettle前先檢查Java環境是否正確配置，Java版本是否是8或者以上。

Kettle安裝

1）建立Kettle的目錄，並將Kettle的zip包解壓到Kettle目錄下

2）檢視一下sh檔案使用都有執行的許可權，如果沒請加上。

4）執行kitchen.sh指令碼

3）如果出現以下的錯誤，這是因為sh檔案有可能是在Windows下編寫的並打包到Zip包中的，編碼格式不一樣linux是utf-8，windows是gbk的。我這裡提供兩種解決方案。

         1.單個檔案修改

         利用Vim進行修改，可以使用:set ff檢視檔案格式；可以使用:set ff=unix修改檔案格式。

         2.批量執行

         執行下面的指令碼命令即可。建立一個sh檔案，將下面的shell程式碼複製到該檔案執行即可。注意路徑修改一下。

for file in `ls /opt/kettle/data-integration/*.sh`

do                                                                     

         echo ${file}

         vim +':w ++ff=unix' +':q' ${file}

done
 

4）執行後如果出現下面的WARNING，根據提示安裝即可，不然可能會導致部分特性無法使用（主要是Spoon的使用，如果是無介面環境，可以忽略）。

5）安裝好以後，WARNING就沒有了。出現以下的提示介面說明Kettle可以正常使用了。

同時home目錄下應該會有一個.kettle的目錄

Kettle轉換與作業執行

在Kettle中pan和kitchen兩個工具分別用來執行transformation（轉換）和job（作業），如下所示：

對於檔案儲存，不是資料庫資源庫，可以如下的方式存放檔案：

所有的transformation檔案存放在/srv/kettle/transformations/

所有的job檔案存放在/srv/kettle/jobs/

所有的日誌檔案存放在/var/kettle/logs/

使用pan執行transformation

pan語法：./pan.sh -option=value arg1 arg2

具體使用參考：https://www.cnblogs.com/xiaopan-cp9/p/7608203.html（非常仔細的介紹）

使用kitchen執行job

kitchen語法：./kitchen.sh -option=value arg1 arg2

常用引數列表：

Kettle伺服器端部署

通過Start元件定時執行任務

在Kettle中我們可以通過Start元件來設定定時任務，如下所示，這種方式不推薦使用，因為該Job會一直佔有一個程序，容易記憶體溢位。

通過crontab執行Kettle任務

在Linux中crontab是用來提交和管理使用者週期性執行的任務。

例如（檔案存放位置）：

所有的transformation檔案存放在/srv/kettle/transformations/

所有的job檔案存放在/srv/kettle/jobs/

所有的日誌檔案存放在/var/kettle/logs/

所有的執行指令碼存放在/srv/kettle/script/

1）首先我們建立一個指令碼。因為是crontab執行任務，我們需要重新匯入Java配置。

2）在終端上，鍵入“crontab-e”，進入定時任務檔案，新增任務。

3）重啟cron 並檢視任務

Kettle通過Carte遠端排程

Kettle的部署有很多種模式，上面講的是最原生的模式（Pan/Kitchen）。但是這種方式不利於監控、排程和資源分配。Kettle本身提供了一個用於排程的Web服務Carte。Carte允許遠端請求HTTP進行監控、啟動、停止在Carte服務上執行的job和trans。要部署使用Carte的大致過程如下所示：

1）修改xml配置檔案

在kettle.pwd的描述中可以知道預設的使用者名稱密碼都是cluster（不放心的話可以通過<username>和<password>節點設定使用者名稱密碼），如果要修改密碼可以在配置檔案中配置。

2）啟動Carte

啟動時將剛剛的配置檔案加上。

啟動完成後就可以訪問Carte了，介面非常的簡陋。

PDI Status應該可以理解，下面的Configuration details上面三條代表日誌最大長度、日誌存活時間和指定轉換或者作業產生的物件的存活時間，這三個屬性都是為了防止Out Of Memory。在上面的配置檔案中的配置如下所示：

最後一個引數是資源庫名稱。

3）配置子伺服器

上面是成功的將Carte服務開啟，下面就需要將Spoon連線到Carte。在左側的樹中我們需要增加一個子伺服器。如下所示：

4）建立一個新的執行配置，setting選擇Slave Server。

5）提交任務

執行時選擇剛剛配置的Carte執行。這樣我們執行檔案就會上傳到Carte伺服器指定的目錄然後執行。

然後在PDI Status介面就能看到執行的任務。點選進行可以看到詳細的任務詳情。