2.1:測試資料準備工作

-- 建立表
CREATE TABLE `tmallorder` (
  `datekey` INT(11) NOT NULL,-- 日期
  `storename` VARCHAR(50) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL, -- 店鋪名稱
  `goodsname` VARCHAR(50) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL, -- 商品名稱
  `goodsmoney` DECIMAL(20,4) DEFAULT NULL -- 銷售額
) ENGINE=INNODB DEFAULT CHARSET=utf8
-- 插入測試資料
INSERT INTO tmallorder(datekey,storename,goodsname,goodsmoney)
VALUES(20121111,'GXG旗艦店','GXG黑色呢絨大衣20121111G1',985231455.80)
INSERT INTO tmallorder(datekey,storename,goodsname,goodsmoney)
VALUES(20121111,'GXG旗艦店','GXG黑色呢絨大衣20121111G2',882373145.48)
INSERT INTO tmallorder(datekey,storename,goodsname,goodsmoney)
VALUES(20121111,'太平鳥旗艦店','太平鳥黑色呢絨大衣20121111T1',100025863.80)
INSERT INTO tmallorder(datekey,storename,goodsname,goodsmoney)
VALUES(20121111,'太平鳥旗艦店','太平鳥黑色呢絨大衣20121111T3',1126988817.48)
INSERT INTO tmallorder(datekey,storename,goodsname,goodsmoney)
VALUES(20121112,'GXG旗艦店','GXG黑色呢絨大衣20121111G1',2585231455.80)
INSERT INTO tmallorder(datekey,storename,goodsname,goodsmoney)
VALUES(20121112,'GXG旗艦店','GXG黑色呢絨大衣20121111G2',1585231455.80)
INSERT INTO tmallorder(datekey,storename,goodsname,goodsmoney)
VALUES(20121112,'太平鳥旗艦店','太平鳥黑色呢絨大衣20121111T1',300025863.80)
INSERT INTO tmallorder(datekey,storename,goodsname,goodsmoney)
VALUES(20121112,'太平鳥旗艦店','太平鳥黑色呢絨大衣20121111T2',170025863.80)

--最終的統計結果

日期          店鋪          商品名稱                              銷售額

20121111 GXG旗艦店 GXG黑色呢絨大衣20121111G1 985231455.8000
20121111 GXG旗艦店 GXG黑色呢絨大衣20121111G2 882373145.4800
20121111 太平鳥旗艦店 太平鳥黑色呢絨大衣20121111T1 100025863.8000
20121111 太平鳥旗艦店 太平鳥黑色呢絨大衣20121111T2 126988817.4800
20121111 太平鳥旗艦店 太平鳥黑色呢絨大衣20121111T3 1126988817.4800
20121112 GXG旗艦店 GXG黑色呢絨大衣20121111G1 2585231455.8000
20121112 GXG旗艦店 GXG黑色呢絨大衣20121111G2 1585231455.8000
20121112 太平鳥旗艦店 太平鳥黑色呢絨大衣20121111T1 300025863.8000
20121112 太平鳥旗艦店 太平鳥黑色呢絨大衣20121111T2 170025863.8000

2.2: 針對所有記錄排序取top n,不分組取top n

元件：sortrows+js

 2.2.1:

tmallorder就是測試表資料的一個輸出，sort rows 就是先針對記錄做一個排序，針對業務需求選擇是降序或者是升序，本例是取交易額大的所以排序指標是降序

排序欄位為1個 交易額 ASC 為Ｎ即為降序排序。

2.2.2:

trans_Status = CONTINUE_TRANSFORMATION;
if(getProcessCount("r")>3) {
 trans_Status = SKIP_TRANSFORMATION;
}

SKIP_TRANSFORMATION , ERROR_TRANSFORMATION, CONTINUE_TRANSFORMATION是TRANSFORMATION已經預先定義好的靜態常量,不可更改。 作用是   過濾記錄行，控制轉換流程

例如：

trans_Status = CONTINUE_TRANSFORMATION

if (field.getString()==’123’) trans_Status = SKIP_TRANSFORMATION

getProcessCount("")方法在kettle是一個特殊的函式，含義和引數解釋spoon官方解釋：

// Returns a number with the current processed Rows.
// The type is changable.
//
// Usage:
// getProcessCount(var);
// 1: String - The Pentaho/Kettle Type:
// u - Lines Update
// i - Lines Insert
// w - Lines Write
// r - Lines Read
// o - Lines Output

JS後面的操作就是輸出處理後的資料了，我們可以看一下結果，如下圖。

在TEST的所有結果集裡面取交易額top3記錄，我們看前面的表資料可以看出處理結果是正確的。

2.3: 針對所有記錄排序取top n,分組取top n 即在每天都取出top N

元件：sort rows+group by+Filter rows

2.3.1:因為是分組排序取top n，所以在分組之前排序的時候除了top n的標準欄位金額之外，就是還要加上要分組的欄位，如下圖：

goodsmoney就是top的標準按照金額最大取top 分組欄位為datekey日期。

2.3.2：說到分組排序就要說分組了 這裡我們就用到了我們日常經常使用的group by元件如下圖，打鉤的地方勾上。Add line number處給一個欄位，名字自定

此處我設定的是rownunber,分組欄位就是分組取top的欄位比如每天，每個店鋪都可以。rownumber 會作為下一步的一個新增欄位。

2.3.3：最後一步就是要用到過濾（Filter rows）上一步的rownumber其實就是分組排序後的每一個排名欄位。我們取top3，

即為rownumber<4的所有資料

如下圖：

最終結果為：

和測試表結果對比後，我們可以發現11號和12號兩天的資料分別取top3是正確的。

2.4: 針對kettle分組排序取topn 的總結：

        其實規則都一樣，如果再往下擴充套件，取每天每個店鋪的top2我們就可以在sort rows 和group by 中新增指標即可，過濾的操作不變，就是topn 中N的值。

        取每天每個店鋪的top2：具體的就不再多說了，看步驟：

step1:    top指標還是交易額欄位，group by 為日期 店鋪

 step2:group by 為日期 店鋪 新增排序標示

step3：取top2  rownumber<3

step 4:預覽處理結果：

和表中資料對比後可發現，11和12號兩天中，GXG和太平鳥兩個店鋪銷售額前2的商品資料是正確的。

 總結：無論是哪一種ETL ，工具其實都是有它的優點和缺點的。利用好他們的優點，想辦法解決他們的缺點，會給我們的工作帶來輕鬆和愉快，謝謝大家。