kettle入門(四) 之kettle取昨天時間&設定任意時間變數案例
引:
在資料倉庫專案中 有一類和生產或者外圍系統互動的介面稱為FTP檔案介面, 用kettle開發、實現這種介面 配置指令碼時,經常需要用時間變數來取或者上傳FTP裡面 固定格式檔名的文字,例如 生產系統定時 每天推送前天的資料文字 到某個FTP伺服器
2014-04-28 推送檔名 2015-04-26.txt.gz
2014-04-27 推送檔名 2015-04-25.txt.gz
實現:
kettle 版本3.0.4,如下圖所示:
所需要三個功能元件 1 獲取系統資訊 2 java script value 3 set 變數
下面看第一個元件,可以自動獲取系統的時間 例如當前時間 即下圖的系統日期(變數) 、今天00:00:00等 先取今天的日期
點選下圖左下角的 型別 下面行 會彈出右側下腳的 選擇資訊型別 再裡面點選 今天00:00:00 然後 寫上名稱即可
下圖看第二個元件 :
主要實現是用js程式碼
Format 那一大塊是一個格式化函式 功能是把時間格式化成 自己需要的時間格式
Format下面那行 new 當前時間物件 2代表2天 24*60*60*1000代表1天時間的ms數
--即當天減去2天時間ms數 得到前天的時間
下圖第三個元件:
設定環境變數 即把js中的變數名 設定到系統 或者job可用的變數名中 變數活動型別 有Java虛擬機器、父Job、父父Job、根Job。為了便於測試 這裡選擇Java虛擬機器
下面是點選執行的測試結果:
畫紅圈部分可以看到變數設定成功了!
下圖是一個 使用變數設定ktr 的kjb
目的就是每天生成2015-04-26 這樣 前天日期的文字 然後用 sftp中的正則表示式匹配 上傳到指定伺服器, 畫紅圈是filedate_YCL.ktr中設定的變數名。
附錄 :
元件二里的js指令碼:
Date.prototype.Format = function (fmt) { //author: meizz var o = { "M+": this.getMonth() + 1, //月份 "d+": this.getDate(), //日 "h+": this.getHours(), //小時 "m+": this.getMinutes(), //分 "s+": this.getSeconds(), //秒 "q+": Math.floor((this.getMonth() + 3) / 3), //季度 "S": this.getMilliseconds() //毫秒 }; if (/(y+)/.test(fmt)) fmt = fmt.replace(RegExp.$1, (this.getFullYear() + "").substr(4 - RegExp.$1.length)); for (var k in o) if (new RegExp("(" + k + ")").test(fmt)) fmt = fmt.replace(RegExp.$1, (RegExp.$1.length == 1) ? (o[k]) : (("00" + o[k]).substr(("" + o[k]).length))); return fmt; } var dtNew=new Date(new Date().getTime()-2*24*60*60*1000).Format("yyyyMMdd");--new 當前時間物件 2代表2天 24*60*60*1000代表2天時間的ms數 --即當天減去2天時間ms數 得到前天的時間
備註:
new Date(new Date().getTime()-2*24*60*60*1000).Format("yyyyMMdd");
2這個地方 可以任意改 想取多少天前的就寫多少天,減也可以改成加 yyyyMMdd 格式也可以改為 yyyyMM 或者 yyyy-MM-dd 或者 yyyy/MM/dd
取時分秒 yyyy/MM/dd/ hh:mm:ss 很靈活方便
取當前季度 yyyy/MM/dd/qq hh:mm:ss qq是季度