1. 程式人生 > >Hive.GROUPING SETS

Hive.GROUPING SETS

如果說聚合函式(Simple UDAF / Generic UDAF)是HQL聚合資料查詢或分析的中樞處理器,那GROUP BY可以說是聚合函式的神經了,GROUP BY收集和傳遞材料,然後交給聚合函式們去處理。這些材料的組織形式顯得尤為重要,它們表達著分析者想要的觀察維度或視角,管理著聚合函式們的操作物件。

       而分析者經常想要在一次分析中從多個維度去獲得分析資料,對包含多個維度或多級層次的分析,上卷(roll up)或下鑽(drill down)一類就很有分析價值。

       我們有時候可以從最細、最多的粒度去做一個查詢,然後把結果集匯入Excel這個資料分析利器,用資料透檢視標進行“上卷”分析;但有時候也行不通,比如說UV這種需要去重的資料,在Excel裡用匯總方式進行上卷,就不是純粹的UV概念了。

       所以,對這種情形,在查詢過程中,我們就需要獲得已經下鑽和上卷的資料;如果只有GROUP BY子句,那我們可以寫出按各個維度或層次進行GROUP BY的查詢語句,然後再通過UNION子句把結果集拼湊起來,但是這樣的查詢語句顯得冗長、笨拙。

       為此,HQL像其它很多SQL實現一樣,為我們提供了GROUPINGSETS子句來簡化查詢語句的編寫,以下官方CWiki文件很清晰地表達了GROUPING SETS的功能:

Aggregate Query with GROUPING SETS

Equivalent Aggregate Query with GROUP BY

SELECT a, b, SUM
(c) FROM tab1 GROUP BY a, b GROUPING SETS ( (a,b) )
SELECT a, b, SUM(c) FROM tab1 GROUP BY a, b
SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b GROUPING SETS ( (a,b), a)


  1. SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b
  2. UNION
  3. SELECT a, nullSUM( c ) FROM tab1 GROUP BY a


SELECT a,b, SUM( c ) FROM tab1 GROUP BY a, b GROUPING
 SETS (a,b)


  1. SELECT a, nullSUM( c ) FROM tab1 GROUP BY a
  2. UNION
  3. SELECT null, b, SUM( c ) FROM tab1 GROUP BY b


SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b GROUPING SETS ( (a, b), a, b, ( ) )


  1. SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b
  2. UNION
  3. SELECT a, nullSUM( c ) FROM tab1 GROUP BY a, null
  4. UNION
  5. SELECT null, b, SUM( c ) FROM tab1 GROUP BY null, b
  6. UNION
  7. SELECT nullnullSUM( c ) FROM tab1


       因為涉及UNION操作,所以為了遵循UNION對參與合併的資料集合的要求,GROUPING SETS會把在單個GROUP BY邏輯中沒有參與GROUP BY的那一列置為NULL值,使它成為常量佔位列。這樣聚合出來的結果,未被GROUP BY的列將顯示為NULL。

       但是這樣的處理也會引起一個歧義性問題,如果我們分析的表有一些列沒有NOT NULL約束,那原始資料中,未被GROUP BY的列可能原本就會出現一些NULL值,這樣,GROUPING SETS出來的結果,我們沒有辦法去區分該列顯示的NULL值是原始資料出現的NULL值聚合的結果,還是你因為這列沒有參與GROUP BY而被置為NULL值的結果。

       為了解決這個歧義問題,HQL又為我們提供了一個Grouping__ID函式(請注意函式名中的下劃線是兩個!);這個函式沒有引數,在有GROUPING SETS子句的情況下,把它直接放在SELECT子句中,像其它列一樣,獨佔一列。它返回的結果是一個看起來像整形數值型別,其實是字串的值,這個值使用了點陣圖策略(bitvector,位向量),即它的二進位制形式中的每1位標示著對應列是否參與GROUP BY,如果某一列參與了GROUP BY,對應位就被置為1,否則為0,根據這個位向量值和對應列是否顯示為NULL,我們就可以解決上面提到的歧義問題了。

       這樣一來,Grouping__ID函式返回值的範圍由查詢的欄位數(除去聚合函式產生的列)決定,如果比如有3列,那位向量為3位,最大值為7。CWiki文件提供了下面的示例:

       有下面一個表資料:

  Column1 (key)  

  Column2 (value)  

  1

  NULL

  1

  1

  2

  2

  3

  3

  3

  NULL

  4

  5

       我們用這樣的查詢語句去執行查詢:

SELECT key, value, GROUPING__ID, count(*) from T1 GROUP BY key,value WITH ROLLUP


       將得到如下查詢結果:

  NULL  

  NULL  

    0    

    6    

     1

  NULL

    1

    2

     1

  NULL

    3

    1

     1

    1

    3

    1

     2

  NULL

    1

    1

     2

    2

    3

    1

     3

  NULL

    1

    2

     3

  NULL

    3

    1

     3

     3

    3

    1

     4

  NULL

    1

    1

     4

     5

    3

    1

       官方文件沒有明確說明這個位向量和各列的高低位對應關係,但是從示例我們可以看到,這個位向量的低位對應SELECT子句中的第1列(非聚合列),高位對應最後1列(非聚合列)。

       上面的查詢用到了WITH ROLLUP子句,它對應SQL中的上卷操作,其實它就是GROUPINGSETS的特例,對應上面第一個表格中的第4種情形;根據官方的CWiki文件解釋,GROUP BY 子句加上ROLLUP 子句可用於計算從一個維度進行層級聚合的操作:

GROUP BY a, b, c with ROLLUP assumes that the hierarchy is"a" drilling down to "b" drilling down to "c".


       類似地還有WITH CUBE子句,對應SQL中的CUBE操作,它完成對欄位列中的所有可能組合(全序集?)進行GROUP BY的功能,正如官方CWiki文件的解釋:

  1. GROUP BY a, b, c WITH CUBE 等同於
  2. GROUP BY a, b, c GROUPING SETS ( (a, b, c), (a, b), (b, c), (a, c),(a), (b), (c), ( ))

       GROUPING SETS增強了GROUP BY的查詢表達能力,ROLLUP和CUBE又增強了GROUPING SETS的查詢表達能力,這樣一來,GROUP BY的形態也變得多樣化了,讓我們能夠在查詢階段就實現更多的分析角度。

       還需留意的是:Hive從0.10.0版本才開始有GROUPING SETS的。