Hive.GROUPING SETS
如果說聚合函式(Simple UDAF / Generic UDAF)是HQL聚合資料查詢或分析的中樞處理器,那GROUP BY可以說是聚合函式的神經了,GROUP BY收集和傳遞材料,然後交給聚合函式們去處理。這些材料的組織形式顯得尤為重要,它們表達著分析者想要的觀察維度或視角,管理著聚合函式們的操作物件。
而分析者經常想要在一次分析中從多個維度去獲得分析資料,對包含多個維度或多級層次的分析,上卷(roll up)或下鑽(drill down)一類就很有分析價值。
我們有時候可以從最細、最多的粒度去做一個查詢,然後把結果集匯入Excel這個資料分析利器,用資料透檢視標進行“上卷”分析;但有時候也行不通,比如說UV這種需要去重的資料,在Excel裡用匯總方式進行上卷,就不是純粹的UV概念了。
所以,對這種情形,在查詢過程中,我們就需要獲得已經下鑽和上卷的資料;如果只有GROUP BY子句,那我們可以寫出按各個維度或層次進行GROUP BY的查詢語句,然後再通過UNION子句把結果集拼湊起來,但是這樣的查詢語句顯得冗長、笨拙。
為此,HQL像其它很多SQL實現一樣,為我們提供了GROUPINGSETS子句來簡化查詢語句的編寫,以下官方CWiki文件很清晰地表達了GROUPING SETS的功能:
Aggregate Query with GROUPING SETS | Equivalent Aggregate Query with GROUP BY |
|
|
|
|
|
|
|
|
因為涉及UNION操作,所以為了遵循UNION對參與合併的資料集合的要求,GROUPING SETS會把在單個GROUP BY邏輯中沒有參與GROUP BY的那一列置為NULL值,使它成為常量佔位列。這樣聚合出來的結果,未被GROUP BY的列將顯示為NULL。
但是這樣的處理也會引起一個歧義性問題,如果我們分析的表有一些列沒有NOT NULL約束,那原始資料中,未被GROUP BY的列可能原本就會出現一些NULL值,這樣,GROUPING SETS出來的結果,我們沒有辦法去區分該列顯示的NULL值是原始資料出現的NULL值聚合的結果,還是你因為這列沒有參與GROUP BY而被置為NULL值的結果。
為了解決這個歧義問題,HQL又為我們提供了一個Grouping__ID函式(請注意函式名中的下劃線是兩個!);這個函式沒有引數,在有GROUPING SETS子句的情況下,把它直接放在SELECT子句中,像其它列一樣,獨佔一列。它返回的結果是一個看起來像整形數值型別,其實是字串的值,這個值使用了點陣圖策略(bitvector,位向量),即它的二進位制形式中的每1位標示著對應列是否參與GROUP BY,如果某一列參與了GROUP BY,對應位就被置為1,否則為0,根據這個位向量值和對應列是否顯示為NULL,我們就可以解決上面提到的歧義問題了。
這樣一來,Grouping__ID函式返回值的範圍由查詢的欄位數(除去聚合函式產生的列)決定,如果比如有3列,那位向量為3位,最大值為7。CWiki文件提供了下面的示例:
有下面一個表資料:
Column1 (key) | Column2 (value) |
1 | NULL |
1 | 1 |
2 | 2 |
3 | 3 |
3 | NULL |
4 | 5 |
我們用這樣的查詢語句去執行查詢:
SELECT key, value, GROUPING__ID, count(*) from T1 GROUP BY key,value WITH ROLLUP
將得到如下查詢結果:
NULL | NULL | 0 | 6 |
1 | NULL | 1 | 2 |
1 | NULL | 3 | 1 |
1 | 1 | 3 | 1 |
2 | NULL | 1 | 1 |
2 | 2 | 3 | 1 |
3 | NULL | 1 | 2 |
3 | NULL | 3 | 1 |
3 | 3 | 3 | 1 |
4 | NULL | 1 | 1 |
4 | 5 | 3 | 1 |
官方文件沒有明確說明這個位向量和各列的高低位對應關係,但是從示例我們可以看到,這個位向量的低位對應SELECT子句中的第1列(非聚合列),高位對應最後1列(非聚合列)。
上面的查詢用到了WITH ROLLUP子句,它對應SQL中的上卷操作,其實它就是GROUPINGSETS的特例,對應上面第一個表格中的第4種情形;根據官方的CWiki文件解釋,GROUP BY 子句加上ROLLUP 子句可用於計算從一個維度進行層級聚合的操作:
GROUP BY a, b, c with ROLLUP assumes that the hierarchy is"a" drilling down to "b" drilling down to "c".
類似地還有WITH CUBE子句,對應SQL中的CUBE操作,它完成對欄位列中的所有可能組合(全序集?)進行GROUP BY的功能,正如官方CWiki文件的解釋:
- GROUP BY a, b, c WITH CUBE 等同於
- GROUP BY a, b, c GROUPING SETS ( (a, b, c), (a, b), (b, c), (a, c),(a), (b), (c), ( ))
GROUPING SETS增強了GROUP BY的查詢表達能力,ROLLUP和CUBE又增強了GROUPING SETS的查詢表達能力,這樣一來,GROUP BY的形態也變得多樣化了,讓我們能夠在查詢階段就實現更多的分析角度。
還需留意的是:Hive從0.10.0版本才開始有GROUPING SETS的。