kettle之日誌有關方面的總結
job
1.job日誌
job日誌有三種：
作業日誌表：整體的記錄
作業項日誌表：每個專案的日誌
日誌通道日誌表：
第一次配置，因為資料庫中還沒有這個表，需要手動點選sql建立表，然後執行sql。
日誌模式：oracle等資料庫種有模式概念，mysql不需要填寫
記錄時間間隔：執行的時候多久寫一次，在作業日誌表中對應：logdate時間每10秒寫一次
日誌超時時間：過期刪除？
在記憶體中儲存的日誌行數：
2.job內轉換日誌（這個沒有打印出來）
trans
1.trans日誌
轉換：啟動、結束時間、執行狀態（正在執行，完成）
步驟：執行的步驟資訊
執行：
日誌通道：
Metrics：執行具體的步驟（度量）
==========================kettle日誌====================
檢驗分流案例：
kettle檔案：job檔案：
trans檔案：
具體內容，表輸入為2張表join操作：
資料檢驗為對合並的資料做一個過濾操作，如為空，數值等，並定義錯誤處理（右鍵->錯誤處理）：
js程式碼為合併錯誤的記錄行以“|”拼接成一個欄位，存入一張大表，大表記錄資料來源：
待存入的庫表結構：（實際專案中肯定得知道從哪臺機器，哪個庫表來的資料）
|
CREATE TABLE `p_error` ( `result` VARCHAR(256) NULL DEFAULT NULL, `error_num` VARCHAR(64) NULL DEFAULT NULL, `error_desc` VARCHAR(64) NULL DEFAULT NULL, `error_column` VARCHAR(64) NULL DEFAULT NULL, `error_code` VARCHAR(64) NULL DEFAULT NULL ) |
輸出效果：
檢驗不通過分流輸出：
kettle執行 情況：job、trans均正常執行。
日誌記錄輸出情況：
作業：（有顏色的表示可以使用的欄位）
作業日誌表：（作業執行具體情況，執行狀態、啟動時間、當前日誌記錄時間、結束時間）
ID_JOB記錄當前執行批次，後面所有表有關批次，全是該欄位索引。
|
ID_JOB |
0 |
|
CHANNEL_ID |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
|
JOBNAME |
讀取 |
|
STATUS |
end |
|
LINES_READ |
0 |
|
LINES_WRITTEN |
0 |
|
LINES_UPDATED |
0 |
|
LINES_INPUT |
0 |
|
LINES_OUTPUT |
0 |
|
LINES_REJECTED |
0 |
|
ERRORS |
0 |
|
STARTDATE |
1/1/1900 07:00:00 |
|
ENDDATE |
6/14/2018 17:13:54 |
|
LOGDATE |
6/14/2018 17:13:55 |
|
DEPDATE |
6/14/2018 17:13:54 |
|
REPLAYDATE |
6/14/2018 17:13:54 |
|
LOG_FIELD |
log_field根據配置的時間間隔實時重新整理，內容和kettle底部展示一致：
|
2018/06/14 17:13:54 - Spoon - 正在開始任務... 2018/06/14 17:13:54 - 讀取 - 開始執行任務 2018/06/14 17:13:54 - 讀取 - 開始項[轉換] 2018/06/14 17:13:54 - 轉換 - Loading transformation from XML file [D:\etl_project\錯誤處理.ktr] 2018/06/14 17:13:54 - 轉換 - Using run configuration [Pentaho local] 2018/06/14 17:13:54 - 轉換 - Using legacy execution engine 2018/06/14 17:13:54 - 錯誤處理 - 為了轉換解除補丁開始 [錯誤處理] 2018/06/14 17:13:54 - 正確記錄輸出.0 - Connected to database [local_zj_ctcc] (commit=1000) 2018/06/14 17:13:54 - 過濾記錄輸出 2.0 - Connected to database [local_zj_ctcc] (commit=1000) 2018/06/14 17:13:54 - 過濾記錄輸出.0 - Connected to database [local_zj_ctcc] (commit=1000) 2018/06/14 17:13:54 - 表輸入.0 - Finished reading query, closing connection. 2018/06/14 17:13:54 - JavaScript程式碼.0 - Optimization level set to 9. 2018/06/14 17:13:54 - 表輸入.0 - 完成處理 (I=17, O=0, R=0, W=17, U=0, E=0) 2018/06/14 17:13:55 - 資料檢驗.0 - 完成處理 (I=0, O=0, R=17, W=12, U=0, E=5) 2018/06/14 17:13:55 - JavaScript程式碼.0 - 完成處理 (I=0, O=0, R=5, W=5, U=0, E=0) 2018/06/14 17:13:55 - 正確記錄輸出.0 - 完成處理 (I=0, O=12, R=12, W=12, U=0, E=0) 2018/06/14 17:13:55 - 過濾記錄輸出.0 - 完成處理 (I=0, O=5, R=5, W=5, U=0, E=0) 2018/06/14 17:13:55 - 讀取 - 開始項[成功] 2018/06/14 17:13:55 - 讀取 - 完成作業項[成功] (結果=[true]) 2018/06/14 17:13:55 - 讀取 - 完成作業項[轉換] (結果=[true]) 2018/06/14 17:13:55 - 讀取 - 任務執行完畢 2018/06/14 17:13:55 - Spoon - 任務已經結束. END |
作業項日誌表：
|
ID_BATCH |
CHANNEL_ID |
LOG_DATE |
TRANSNAME |
STEPNAME |
LINES_READ |
LINES_WRITTEN |
LINES_UPDATED |
LINES_INPUT |
LINES_OUTPUT |
LINES_REJECTED |
ERRORS |
RESULT |
NR_RESULT_ROWS |
NR_RESULT_FILES |
|
|
0 |
155652e6-de7d-4ccc-93d6-738b46498211 |
6/14/2018 17:13:55 |
讀取 |
START |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
1 |
0 |
0 |
|
|
0 |
58c148e4-68a8-4276-a291-3bb004a97a8e |
6/14/2018 17:13:55 |
讀取 |
轉換 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
1 |
0 |
0 |
|
|
0 |
eb553cb2-5db9-4987-9cf6-3089f6813e10 |
6/14/2018 17:13:55 |
讀取 |
成功 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
1 |
0 |
0 |
|
|
0 |
b94f8743-7831-4bae-841c-ea871d5a8c86 |
6/14/2018 17:13:55 |
讀取 |
DUMMY |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
日誌通道日誌表：
|
ID_BATCH |
CHANNEL_ID |
LOG_DATE |
LOGGING_OBJECT_TYPE |
OBJECT_NAME |
OBJECT_COPY |
REPOSITORY_DIRECTORY |
FILENAME |
OBJECT_ID |
OBJECT_REVISION |
PARENT_CHANNEL_ID |
ROOT_CHANNEL_ID |
|
|
0 |
754bfd54-3a2e-4c65-867c-bb194fc4ebf4 |
6/14/2018 17:13:55 |
DATABASE |
local_kettle_log |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
||||||
|
0 |
c3ed94e2-c2ad-44b7-8e2e-6aadbe297f33 |
6/14/2018 17:13:55 |
JOBENTRY |
START |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
||||||
|
0 |
c88e0e5a-8dab-44ff-bbaa-2eefe2fb4dad |
6/14/2018 17:13:55 |
DATABASE |
local_zj_ctcc |
d577d451-2c6e-4fe5-b044-3f6db889cfeb |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
||||||
|
0 |
d577d451-2c6e-4fe5-b044-3f6db889cfeb |
6/14/2018 17:13:55 |
STEP |
表輸入 |
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
|||||
|
0 |
3f5df8a8-525d-4fda-9656-47ec84eabad4 |
6/14/2018 17:13:55 |
STEP |
資料檢驗 |
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
|||||
|
0 |
c1416a32-a719-4e49-b4ad-7405483a8c7e |
6/14/2018 17:13:55 |
DATABASE |
local_zj_ctcc |
d2e88ac3-2af0-4e97-b142-32e4bd75dadc |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
||||||
|
0 |
d2e88ac3-2af0-4e97-b142-32e4bd75dadc |
6/14/2018 17:13:55 |
STEP |
正確記錄輸出 |
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
|||||
|
0 |
60af517e-5f27-4c7a-96f9-c47fcb889ce7 |
6/14/2018 17:13:55 |
STEP |
JavaScript程式碼 |
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
|||||
|
0 |
bed78c9a-4a9c-4862-9b34-3ad3d5eb3fde |
6/14/2018 17:13:55 |
DATABASE |
local_zj_ctcc |
89cb570a-1e3a-4f6e-b909-30d7bb31fbe6 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
||||||
|
0 |
89cb570a-1e3a-4f6e-b909-30d7bb31fbe6 |
6/14/2018 17:13:55 |
STEP |
過濾記錄輸出 |
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
|||||
|
0 |
c75912a5-d9dd-4adf-ae22-b69edf1ddbfb |
6/14/2018 17:13:55 |
DATABASE |
local_zj_ctcc |
6a38328a-af09-49ac-b9e8-5adc5346e821 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
||||||
|
0 |
6a38328a-af09-49ac-b9e8-5adc5346e821 |
6/14/2018 17:13:55 |
STEP |
過濾記錄輸出 2 |
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
|||||
|
0 |
1b40927e-a18a-459b-a7d3-009195b4ed3a |
6/14/2018 17:13:55 |
DATABASE |
local_kettle_log |
99922df2-8f34-4865-bdb9-6d571895eae4 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
||||||
|
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
6/14/2018 17:13:55 |
TRANS |
錯誤處理 |
/ |
D:\etl_project\錯誤處理.ktr |
3b5dff4f-0a52-41de-aac6-e5427f3058c7 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
||||
|
0 |
3b5dff4f-0a52-41de-aac6-e5427f3058c7 |
6/14/2018 17:13:55 |
JOBENTRY |
轉換 |
D:\etl_project\錯誤處理.ktr |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
|||||
|
0 |
8be87f8a-b464-4a1e-8722-3def49883517 |
6/14/2018 17:13:55 |
JOBENTRY |
成功 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
||||||
|
0 |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
6/14/2018 17:13:55 |
JOB |
讀取 |
/ |
D:\etl_project\日誌測試_錯誤處理.kjb |
2b97ef82-9ef0-4312-b563-2fa67ec55a21 |
|||||
轉換：
轉換：
|
ID_BATCH |
0 |
|
CHANNEL_ID |
99922df2-8f34-4865-bdb9-6d571895eae4 |
|
TRANSNAME |
錯誤處理 |
|
STATUS |
end |
|
LINES_READ |
0 |
|
LINES_WRITTEN |
0 |
|
LINES_UPDATED |
0 |
|
LINES_INPUT |
0 |
|
LINES_OUTPUT |
0 |
|
LINES_REJECTED |
0 |
|
ERRORS |
0 |
|
STARTDATE |
1/1/1900 07:00:00 |
|
ENDDATE |
6/14/2018 17:13:54 |
|
LOGDATE |
6/14/2018 17:13:55 |
|
DEPDATE |
6/14/2018 17:13:54 |
|
REPLAYDATE |
6/14/2018 17:13:54 |
|
LOG_FIELD |
LOG_FIELD欄位內容：
|
2018/06/14 17:13:54 - Spoon - 正在開始任務... 2018/06/14 17:13:54 - 錯誤處理 - 為了轉換解除補丁開始 [錯誤處理] 2018/06/14 17:13:54 - 正確記錄輸出.0 - Connected to database [local_zj_ctcc] (commit=1000) 2018/06/14 17:13:54 - 過濾記錄輸出 2.0 - Connected to database [local_zj_ctcc] (commit=1000) 2018/06/14 17:13:54 - 過濾記錄輸出.0 - Connected to database [local_zj_ctcc] (commit=1000) 2018/06/14 17:13:54 - 表輸入.0 - Finished reading query, closing connection. 2018/06/14 17:13:54 - JavaScript程式碼.0 - Optimization level set to 9. 2018/06/14 17:13:54 - 表輸入.0 - 完成處理 (I=17, O=0, R=0, W=17, U=0, E=0) 2018/06/14 17:13:55 - 資料檢驗.0 - 完成處理 (I=0, O=0, R=17, W=12, U=0, E=5) 2018/06/14 17:13:55 - JavaScript程式碼.0 - 完成處理 (I=0, O=0, R=5, W=5, U=0, E=0) 2018/06/14 17:13:55 - 正確記錄輸出.0 - 完成處理 (I=0, O=12, R=12, W=12, U=0, E=0) 2018/06/14 17:13:55 - 過濾記錄輸出.0 - 完成處理 (I=0, O=5, R=5, W=5, U=0, E=0) END |
步驟：
|
ID_BATCH |
CHANNEL_ID |
LOG_DATE |
TRANSNAME |
STEPNAME |
STEP_COPY |
LINES_READ |
LINES_WRITTEN |
LINES_UPDATED |
LINES_INPUT |
LINES_OUTPUT |
LINES_REJECTED |
ERRORS |
|
0 |
d577d451-2c6e-4fe5-b044-3f6db889cfeb |
6/14/2018 17:13:55 |
錯誤處理 |
表輸入 |
0 |
0 |
17 |
0 |
17 |
0 |
0 |
0 |
|
0 |
3f5df8a8-525d-4fda-9656-47ec84eabad4 |
6/14/2018 17:13:55 |
錯誤處理 |
資料檢驗 |
0 |
17 |
12 |
0 |
0 |
0 |
5 |
0 |
|
0 |
d2e88ac3-2af0-4e97-b142-32e4bd75dadc |
6/14/2018 17:13:55 |
錯誤處理 |
正確記錄輸出 |
0 |
12 |
12 |
0 |
0 |
12 |
0 |
0 |
|
0 |
60af517e-5f27-4c7a-96f9-c47fcb889ce7 |
6/14/2018 17:13:55 |
錯誤處理 |
JavaScript程式碼 |
0 |
5 |
5 |
0 |
0 |
0 |
0 |
0 |
|
0 |
89cb570a-1e3a-4f6e-b909-30d7bb31fbe6 |
6/14/2018 17:13:55 |
錯誤處理 |
過濾記錄輸出 |
0 |
5 |
5 |
0 |
0 |
5 |
0 |
0 |
|
0 |
6a38328a-af09-49ac-b9e8-5adc5346e821 |
6/14/2018 17:13:55 |
錯誤處理 |
過濾記錄輸出 2 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
執行：狀態有end和stop2種，其中stop為出錯後執行的狀態，其中有欄位errors顯示錯誤個數。
日誌通道：
|
ID_BATCH |
CHANNEL_ID |
LOG_DATE |
LOGGING_OBJECT_TYPE |
OBJECT_NAME |
OBJECT_COPY |
REPOSITORY_DIRECTORY |
FILENAME |
OBJECT_ID |
OBJECT_REVISION |
PARENT_CHANNEL_ID |
ROOT_CHANNEL_ID |
|
0 |
c88e0e5a-8dab-44ff-bbaa-2eefe2fb4dad |
6/14/2018 17:13:55 |
DATABASE |
local_zj_ctcc |
d577d451-2c6e-4fe5-b044-3f6db889cfeb |
99922df2-8f34-4865-bdb9-6d571895eae4 |
|||||
|
0 |
d577d451-2c6e-4fe5-b044-3f6db889cfeb |
6/14/2018 17:13:55 |
STEP |
表輸入 |
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
||||
|
0 |
3f5df8a8-525d-4fda-9656-47ec84eabad4 |
6/14/2018 17:13:55 |
STEP |
資料檢驗 |
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
||||
|
0 |
c1416a32-a719-4e49-b4ad-7405483a8c7e |
6/14/2018 17:13:55 |
DATABASE |
local_zj_ctcc |
d2e88ac3-2af0-4e97-b142-32e4bd75dadc |
99922df2-8f34-4865-bdb9-6d571895eae4 |
|||||
|
0 |
d2e88ac3-2af0-4e97-b142-32e4bd75dadc |
6/14/2018 17:13:55 |
STEP |
正確記錄輸出 |
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
||||
|
0 |
60af517e-5f27-4c7a-96f9-c47fcb889ce7 |
6/14/2018 17:13:55 |
STEP |
JavaScript程式碼 |
0 |
99922df2-8f34-4865-bdb9-6d571895eae4 |
99922df2-8f34-4865-bdb9-6d571895 |