為整個作業設定變數——kettle引數和變數使用
阿新 • • 發佈:2019-01-22
1 kettle使用引數時,如果引數位置是字串(數字也可以加),最好加引號
eg:
2 kettle設定變數為整個作業使用
2.1 整個作業的預覽圖
- 在這個作業裡面,從“轉換設定變數” 開始之後的各個分支不是併發執行的,執行的先後順序是各個分支被連線的順序
2.2 設定變數
- 圖中資料庫連線查詢,各個之間沒有關聯,只是為了從不同的資料庫查詢需要的值。
- 設定環境變數,“欄位值:”欄位名稱是前面sql語句的,不可改變;“變數名” 是我們給定的,在只有需要使用是 ,使用>${} 就可以使用,但是設定的變數不能在本次轉換中使用。
- 需要給定變數的活動型別。一般整個作業的其他轉換都需要使用這些變數,直接給定“Vaild in tht root job”
這是執行輸出的詳細日誌
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換已經從資源庫預先載入. 2017/03/18 12:56:57 - Spoon - 轉換已經開啟. 2017/03/18 12:56:57 - Spoon - 正在開啟轉換 [20170318test_param_setPara_tran1_2]... 2017/03/18 12:56:57 - Spoon - 開始執行轉換. 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 為了轉換解除補丁開始 [20170318test_param_setPara_tran1_2] 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 已經找到的引數數量:0 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 這沒有一個重放的轉換 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 我找到 3 個不同的要執行的步驟. 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 分派記錄集... 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 正在分配行組為步驟 0 --> fin_lrb_out 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 前一個副本 = 1, 下一個副本=1 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換分配了新的行組 [fin_lrb_out.0 - 文字檔案輸出.0] 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 已分配 1 行組為步驟 0 --> fin_lrb_out 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 正在分配行組為步驟 1 --> 文字檔案輸出 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 前一個副本 = 1, 下一個副本=1 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換分配了新的行組 [文字檔案輸出.0 - Transformation Executor.0] 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 已分配 2 行組為步驟 1 --> 文字檔案輸出 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 正在分配行組為步驟 2 --> Transformation Executor 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 已分配 2 行組為步驟 2 --> Transformation Executor 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 正在分配步驟和步驟資料... 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換大約分配了 步驟 [fin_lrb_out] 型別的 [TableInput] 2017/03/18 12:56:57 - fin_lrb_out.0 - 分散被啟用 2017/03/18 12:56:57 - fin_lrb_out.0 - Starting allocation of buffers & new threads... 2017/03/18 12:56:57 - fin_lrb_out.0 - 步驟資訊: 輸入數量=0 輸出數量=1 2017/03/18 12:56:57 - fin_lrb_out.0 - output rel. is 1:1 2017/03/18 12:56:57 - fin_lrb_out.0 - 發現輸出 rowset [fin_lrb_out.0 - 文字檔案輸出.0] 2017/03/18 12:56:57 - fin_lrb_out.0 - 完成分發 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換已經分配了一個新的步驟: [fin_lrb_out].0 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換大約分配了 步驟 [文字檔案輸出] 型別的 [TextFileOutput] 2017/03/18 12:56:57 - 文字檔案輸出.0 - 分散被啟用 2017/03/18 12:56:57 - 文字檔案輸出.0 - Starting allocation of buffers & new threads... 2017/03/18 12:56:57 - 文字檔案輸出.0 - 步驟資訊: 輸入數量=1 輸出數量=1 2017/03/18 12:56:57 - 文字檔案輸出.0 - 獲取來自前一步驟 [文字檔案輸出] #0 --> fin_lrb_out 2017/03/18 12:56:57 - 文字檔案輸出.0 - input rel is 1:1 2017/03/18 12:56:57 - 文字檔案輸出.0 - 發現輸入記錄集合 [fin_lrb_out.0 - 文字檔案輸出.0] 2017/03/18 12:56:57 - 文字檔案輸出.0 - output rel. is 1:1 2017/03/18 12:56:57 - 文字檔案輸出.0 - 發現輸出 rowset [文字檔案輸出.0 - Transformation Executor.0] 2017/03/18 12:56:57 - 文字檔案輸出.0 - 完成分發 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換已經分配了一個新的步驟: [文字檔案輸出].0 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換大約分配了 步驟 [Transformation Executor] 型別的 [TransExecutor] 2017/03/18 12:56:57 - Transformation Executor.0 - 分散被啟用 2017/03/18 12:56:57 - Transformation Executor.0 - Starting allocation of buffers & new threads... 2017/03/18 12:56:57 - Transformation Executor.0 - 步驟資訊: 輸入數量=1 輸出數量=0 2017/03/18 12:56:57 - Transformation Executor.0 - 獲取來自前一步驟 [Transformation Executor] #0 --> 文字檔案輸出 2017/03/18 12:56:57 - Transformation Executor.0 - input rel is 1:1 2017/03/18 12:56:57 - Transformation Executor.0 - 發現輸入記錄集合 [文字檔案輸出.0 - Transformation Executor.0] 2017/03/18 12:56:57 - Transformation Executor.0 - 完成分發 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換已經分配了一個新的步驟: [Transformation Executor].0 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 這項轉換可以被回放 回放日期是: 2017/03/18 12:56:57 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 正在初始化 3 步驟... 2017/03/18 12:56:57 - fin_lrb_out.0 - Released server socket on port 0 2017/03/18 12:56:57 - 文字檔案輸出.0 - Released server socket on port 0 2017/03/18 12:56:57 - mysql_my - New database connection defined 2017/03/18 12:56:57 - 文字檔案輸出.0 - Parent folder exists [file:///E:/kettle/pdi-ce-6.1.0.1-196/data-integration/kettle/step1]! 2017/03/18 12:56:57 - 文字檔案輸出.0 - Opening output stream using provider: None 2017/03/18 12:56:57 - 文字檔案輸出.0 - Opening output stream in encoding: GBK 2017/03/18 12:56:57 - 文字檔案輸出.0 - Opened new file with name [file:///E:/kettle/pdi-ce-6.1.0.1-196/data-integration/kettle/step1/file1_2_20170318.txt] 2017/03/18 12:56:57 - Transformation Executor.0 - Released server socket on port 0 2017/03/18 12:56:57 - mysql_my - Auto commit off 2017/03/18 12:56:57 - fin_lrb_out.0 - Connected to database... 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 步驟 [fin_lrb_out.0] 初始化不完全,有缺陷. 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 步驟 [文字檔案輸出.0] 初始化不完全,有缺陷. 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 步驟 [Transformation Executor.0] 初始化不完全,有缺陷. 2017/03/18 12:56:57 - fin_lrb_out.0 - 開始執行... 2017/03/18 12:56:57 - fin_lrb_out.0 - SQL query : SELECT * FROM fin_lrb_out WHERE bbyf>='2016-10' and bbyf<=2018-10 2017/03/18 12:56:57 - 文字檔案輸出.0 - 開始執行... 2017/03/18 12:56:57 - Transformation Executor.0 - 開始執行... 2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換已經分配了 3 執行緒 和 2 列組. 2017/03/18 12:56:57 - fin_lrb_out.0 - Finished reading query, closing connection. 2017/03/18 12:56:57 - mysql_my - Connection to database closed! 2017/03/18 12:56:57 - fin_lrb_out.0 - 完成處理 (I=0, O=0, R=0, W=0, U=0, E=0) 2017/03/18 12:56:57 - 文字檔案輸出.0 - 完成處理 (I=0, O=0, R=0, W=0, U=0, E=0) 2017/03/18 12:56:57 - Transformation Executor.0 - 完成處理 (I=0, O=0, R=0, W=0, U=0, E=0) 2017/03/18 12:56:57 - Spoon - 轉換完成!!