1. 程式人生 > >為整個作業設定變數——kettle引數和變數使用

為整個作業設定變數——kettle引數和變數使用

1 kettle使用引數時,如果引數位置是字串(數字也可以加),最好加引號

eg:

2 kettle設定變數為整個作業使用

2.1 整個作業的預覽圖

  • 在這個作業裡面,從“轉換設定變數” 開始之後的各個分支不是併發執行的,執行的先後順序是各個分支被連線的順序

2.2 設定變數

  • 圖中資料庫連線查詢,各個之間沒有關聯,只是為了從不同的資料庫查詢需要的值。
  • 設定環境變數,“欄位值:”欄位名稱是前面sql語句的,不可改變;“變數名” 是我們給定的,在只有需要使用是 ,使用>${} 就可以使用,但是設定的變數不能在本次轉換中使用。
  • 需要給定變數的活動型別。一般整個作業的其他轉換都需要使用這些變數,直接給定“Vaild in tht root job”

這是執行輸出的詳細日誌

2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換已經從資源庫預先載入.
2017/03/18 12:56:57 - Spoon - 轉換已經開啟.
2017/03/18 12:56:57 - Spoon - 正在開啟轉換 [20170318test_param_setPara_tran1_2]...
2017/03/18 12:56:57 - Spoon - 開始執行轉換.
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 為了轉換解除補丁開始  [20170318test_param_setPara_tran1_2]
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 已經找到的引數數量:0
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 這沒有一個重放的轉換
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 我找到 3 個不同的要執行的步驟.
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 分派記錄集...
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  正在分配行組為步驟 0 --> fin_lrb_out
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -   前一個副本 = 1, 下一個副本=1
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換分配了新的行組 [fin_lrb_out.0 - 文字檔案輸出.0]
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  已分配 1 行組為步驟 0 --> fin_lrb_out
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  正在分配行組為步驟 1 --> 文字檔案輸出
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -   前一個副本 = 1, 下一個副本=1
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換分配了新的行組 [文字檔案輸出.0 - Transformation Executor.0]
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  已分配 2 行組為步驟 1 --> 文字檔案輸出
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  正在分配行組為步驟 2 --> Transformation Executor
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  已分配 2 行組為步驟 2 --> Transformation Executor
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 正在分配步驟和步驟資料...
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  轉換大約分配了 步驟 [fin_lrb_out] 型別的 [TableInput]
2017/03/18 12:56:57 - fin_lrb_out.0 - 分散被啟用
2017/03/18 12:56:57 - fin_lrb_out.0 - Starting allocation of buffers & new threads...
2017/03/18 12:56:57 - fin_lrb_out.0 - 步驟資訊: 輸入數量=0 輸出數量=1
2017/03/18 12:56:57 - fin_lrb_out.0 - output rel. is  1:1
2017/03/18 12:56:57 - fin_lrb_out.0 - 發現輸出 rowset [fin_lrb_out.0 - 文字檔案輸出.0]
2017/03/18 12:56:57 - fin_lrb_out.0 - 完成分發
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  轉換已經分配了一個新的步驟: [fin_lrb_out].0
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  轉換大約分配了 步驟 [文字檔案輸出] 型別的 [TextFileOutput]
2017/03/18 12:56:57 - 文字檔案輸出.0 - 分散被啟用
2017/03/18 12:56:57 - 文字檔案輸出.0 - Starting allocation of buffers & new threads...
2017/03/18 12:56:57 - 文字檔案輸出.0 - 步驟資訊: 輸入數量=1 輸出數量=1
2017/03/18 12:56:57 - 文字檔案輸出.0 - 獲取來自前一步驟 [文字檔案輸出] #0 --> fin_lrb_out
2017/03/18 12:56:57 - 文字檔案輸出.0 - input rel is 1:1
2017/03/18 12:56:57 - 文字檔案輸出.0 - 發現輸入記錄集合 [fin_lrb_out.0 - 文字檔案輸出.0]
2017/03/18 12:56:57 - 文字檔案輸出.0 - output rel. is  1:1
2017/03/18 12:56:57 - 文字檔案輸出.0 - 發現輸出 rowset [文字檔案輸出.0 - Transformation Executor.0]
2017/03/18 12:56:57 - 文字檔案輸出.0 - 完成分發
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  轉換已經分配了一個新的步驟: [文字檔案輸出].0
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  轉換大約分配了 步驟 [Transformation Executor] 型別的 [TransExecutor]
2017/03/18 12:56:57 - Transformation Executor.0 - 分散被啟用
2017/03/18 12:56:57 - Transformation Executor.0 - Starting allocation of buffers & new threads...
2017/03/18 12:56:57 - Transformation Executor.0 - 步驟資訊: 輸入數量=1 輸出數量=0
2017/03/18 12:56:57 - Transformation Executor.0 - 獲取來自前一步驟 [Transformation Executor] #0 --> 文字檔案輸出
2017/03/18 12:56:57 - Transformation Executor.0 - input rel is 1:1
2017/03/18 12:56:57 - Transformation Executor.0 - 發現輸入記錄集合 [文字檔案輸出.0 - Transformation Executor.0]
2017/03/18 12:56:57 - Transformation Executor.0 - 完成分發
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  轉換已經分配了一個新的步驟: [Transformation Executor].0
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 這項轉換可以被回放 回放日期是: 2017/03/18 12:56:57
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 正在初始化 3 步驟...
2017/03/18 12:56:57 - fin_lrb_out.0 - Released server socket on port 0
2017/03/18 12:56:57 - 文字檔案輸出.0 - Released server socket on port 0
2017/03/18 12:56:57 - mysql_my - New database connection defined
2017/03/18 12:56:57 - 文字檔案輸出.0 - Parent folder exists [file:///E:/kettle/pdi-ce-6.1.0.1-196/data-integration/kettle/step1]!
2017/03/18 12:56:57 - 文字檔案輸出.0 - Opening output stream using provider: None
2017/03/18 12:56:57 - 文字檔案輸出.0 - Opening output stream in encoding: GBK
2017/03/18 12:56:57 - 文字檔案輸出.0 - Opened new file with name [file:///E:/kettle/pdi-ce-6.1.0.1-196/data-integration/kettle/step1/file1_2_20170318.txt]
2017/03/18 12:56:57 - Transformation Executor.0 - Released server socket on port 0
2017/03/18 12:56:57 - mysql_my - Auto commit off
2017/03/18 12:56:57 - fin_lrb_out.0 - Connected to database...
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 步驟 [fin_lrb_out.0] 初始化不完全,有缺陷.
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 步驟 [文字檔案輸出.0] 初始化不完全,有缺陷.
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 步驟 [Transformation Executor.0] 初始化不完全,有缺陷.
2017/03/18 12:56:57 - fin_lrb_out.0 - 開始執行...
2017/03/18 12:56:57 - fin_lrb_out.0 - SQL query : SELECT * FROM fin_lrb_out WHERE bbyf>='2016-10' and bbyf<=2018-10
2017/03/18 12:56:57 - 文字檔案輸出.0 - 開始執行...
2017/03/18 12:56:57 - Transformation Executor.0 - 開始執行...
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 轉換已經分配了 3 執行緒 和 2 列組.
2017/03/18 12:56:57 - fin_lrb_out.0 - Finished reading query, closing connection.
2017/03/18 12:56:57 - mysql_my - Connection to database closed!
2017/03/18 12:56:57 - fin_lrb_out.0 - 完成處理 (I=0, O=0, R=0, W=0, U=0, E=0)
2017/03/18 12:56:57 - 文字檔案輸出.0 - 完成處理 (I=0, O=0, R=0, W=0, U=0, E=0)
2017/03/18 12:56:57 - Transformation Executor.0 - 完成處理 (I=0, O=0, R=0, W=0, U=0, E=0)
2017/03/18 12:56:57 - Spoon - 轉換完成!!