2. 程式人生 > >Hive之Order,Sort,Cluster and Distribute By

Hive之Order,Sort,Cluster and Distribute By

阿新 • • 發佈：2018-11-11
  • 測試資料
create table sort_test(
  id int,
  name string
)
row format delimited
fields terminated by '\t'
lines terminated by '\n'
stored as textfile;

[[email protected] ~]# cat sort_test.log
4679    aaa
4728    aaa
3040    aaa
4207    aaa
2231    aaa
1279    aaa
7954    aaa
582 aaa
7096    aaa
4878    aaa
9684    aaa
1540    aaa
4826    aaa
2543    aaa
2323    aaa
1420    aaa
5083    aaa
8965    aaa
1391    aaa
9719    aaa
9901    aaa
2393    aaa
6024    aaa
444 aaa
1574    aaa
8881    aaa
5739    aaa
8689    aaa
1614    aaa
9340    aaa
6726    aaa
109 aaa
6941    aaa
9562    aaa
9019    aaa
4945    aaa
2206    aaa
5910    aaa
8552    aaa
1795    aaa
2720    aaa
9007    aaa
8377    aaa
2179    aaa
3683    aaa
5869    aaa
5448    aaa
5223    aaa
5127    aaa
4616    aaa
2340    aaa
1268    aaa
4332    aaa
2989    aaa
19  aaa
7880    aaa
505 aaa
5975    aaa
5288    aaa
5682    aaa
376 aaa
7502    aaa
6448    aaa
3774    aaa
5541    aaa
9636    aaa
2037    aaa
246 aaa
6151    aaa
7837    aaa
1506    aaa
3749    aaa
9335    aaa
3973    aaa
5160    aaa
7929    aaa
834 aaa
3451    aaa
1766    aaa
6228    aaa
8961    aaa
8177    aaa
2340    aaa
4245    aaa
3226    aaa
2670    aaa
784 aaa
7699    aaa
2054    aaa
6006    aaa
4204    aaa
8905    aaa
6182    aaa
1271    aaa
5415    aaa
5164    aaa
4320    aaa
3736    aaa
2287    aaa
6559    aaa
  • Order By
    • Job中只會啟動一個reduce做全域性排序，資料量大時，耗時會很久
    • 在strict模式(hive.mapred.mode=strict)下，必須新增limit語句限制返回條數
# 語法格式
colOrder: ( ASC | DESC )
colNullOrder: (NULLS FIRST | NULLS LAST)           -- (Note: Available in Hive 2.1.0 and later)
orderBy: ORDER BY colName colOrder? colNullOrder? (',' colName colOrder? colNullOrder?)*
query: SELECT expression (',' expression)* FROM src orderBy

# 排序
select * from sort_test order by id desc;

+---------------+-----------------+--+
| sort_test.id  | sort_test.name  |
+---------------+-----------------+--+
| 9901          | aaa             |
| 9719          | aaa             |
| 9684          | aaa             |
| 9636          | aaa             |
| 9562          | aaa             |
| 9340          | aaa             |
| 9335          | aaa             |
| 9019          | aaa             |
| 9007          | aaa             |
| 8965          | aaa             |
| 8961          | aaa             |
| 8905          | aaa             |
| 8881          | aaa             |
| 8689          | aaa             |
| 8552          | aaa             |
| 8377          | aaa             |
| 8177          | aaa             |
| 7954          | aaa             |
| 7929          | aaa             |
| 7880          | aaa             |
| 7837          | aaa             |
| 7699          | aaa             |
| 7502          | aaa             |
| 7096          | aaa             |
| 6941          | aaa             |
| 6726          | aaa             |
| 6559          | aaa             |
| 6448          | aaa             |
| 6228          | aaa             |
| 6182          | aaa             |
| 6151          | aaa             |
| 6024          | aaa             |
| 6006          | aaa             |
| 5975          | aaa             |
| 5910          | aaa             |
| 5869          | aaa             |
| 5739          | aaa             |
| 5682          | aaa             |
| 5541          | aaa             |
| 5448          | aaa             |
| 5415          | aaa             |
| 5288          | aaa             |
| 5223          | aaa             |
| 5164          | aaa             |
| 5160          | aaa             |
| 5127          | aaa             |
| 5083          | aaa             |
| 4945          | aaa             |
| 4878          | aaa             |
| 4826          | aaa             |
| 4728          | aaa             |
| 4679          | aaa             |
| 4616          | aaa             |
| 4332          | aaa             |
| 4320          | aaa             |
| 4245          | aaa             |
| 4207          | aaa             |
| 4204          | aaa             |
| 3973          | aaa             |
| 3774          | aaa             |
| 3749          | aaa             |
| 3736          | aaa             |
| 3683          | aaa             |
| 3451          | aaa             |
| 3226          | aaa             |
| 3040          | aaa             |
| 2989          | aaa             |
| 2720          | aaa             |
| 2670          | aaa             |
| 2543          | aaa             |
| 2393          | aaa             |
| 2340          | aaa             |
| 2340          | aaa             |
| 2323          | aaa             |
| 2287          | aaa             |
| 2231          | aaa             |
| 2206          | aaa             |
| 2179          | aaa             |
| 2054          | aaa             |
| 2037          | aaa             |
| 1795          | aaa             |
| 1766          | aaa             |
| 1614          | aaa             |
| 1574          | aaa             |
| 1540          | aaa             |
| 1506          | aaa             |
| 1420          | aaa             |
| 1391          | aaa             |
| 1279          | aaa             |
| 1271          | aaa             |
| 1268          | aaa             |
| 834           | aaa             |
| 784           | aaa             |
| 582           | aaa             |
| 505           | aaa             |
| 444           | aaa             |
| 376           | aaa             |
| 246           | aaa             |
| 109           | aaa             |
| 19            | aaa             |
+---------------+-----------------+--+
  • Sort By
    • 排序前會根據排序欄位分割槽，一個job啟動多個reduce進行區域性排序
    • 如果有limit語句，會再次啟動一個job，取出每個區域性排好序的前n條，再進行全域性排序
    • 只保證區域性有序，不保證全域性有序
# Sort By語法
colOrder: ( ASC | DESC )
sortBy: SORT BY colName colOrder? (',' colName colOrder?)*
query: SELECT expression (',' expression)* FROM src sortBy

# 設定開啟的reduce個數
set mapreduce.job.reduces=2;

0: jdbc:hive2://> set mapreduce.job.reduces;
+--------------------------+--+
|           set            |
+--------------------------+--+
| mapreduce.job.reduces=2  |
+--------------------------+--+

# 執行區域性排序（未帶limit）
0: jdbc:hive2://> select * from sort_test sort by id desc;
+---------------+-----------------+--+
| sort_test.id  | sort_test.name  |
+---------------+-----------------+--+
| 9901          | aaa             |
| 9684          | aaa             |
| 9340          | aaa             |
| 9019          | aaa             |
| 9007          | aaa             |
| 8965          | aaa             |
| 8961          | aaa             |
| 8689          | aaa             |
| 8552          | aaa             |
| 8177          | aaa             |
| 7837          | aaa             |
| 7699          | aaa             |
| 7502          | aaa             |
| 6559          | aaa             |
| 6448          | aaa             |
| 6228          | aaa             |
| 6024          | aaa             |
| 6006          | aaa             |
| 5975          | aaa             |
| 5910          | aaa             |
| 5869          | aaa             |
| 5739          | aaa             |
| 5682          | aaa             |
| 5541          | aaa             |
| 5448          | aaa             |
| 5415          | aaa             |
| 5288          | aaa             |
| 5164          | aaa             |
| 5160          | aaa             |
| 5083          | aaa             |
| 4878          | aaa             |
| 4826          | aaa             |
| 4679          | aaa             |
| 4616          | aaa             |
| 4245          | aaa             |
| 4207          | aaa             |
| 3736          | aaa             |
| 3451          | aaa             |
| 3226          | aaa             |
| 3040          | aaa             |
| 2989          | aaa             |
| 2720          | aaa             |
| 2670          | aaa             |
| 2340          | aaa             |
| 2231          | aaa             |
| 2206          | aaa             |
| 2054          | aaa             |
| 2037          | aaa             |
| 1766          | aaa             |
| 1614          | aaa             |
| 1540          | aaa             |
| 1506          | aaa             |
| 1420          | aaa             |
| 1268          | aaa             |
| 834           | aaa             |
| 784           | aaa             |
| 582           | aaa             |
| 444           | aaa             |
| 376           | aaa             |
| 246           | aaa             |
| 19            | aaa             |
| 9719          | aaa             |
| 9636          | aaa             |
| 9562          | aaa             |
| 9335          | aaa             |
| 8905          | aaa             |
| 8881          | aaa             |
| 8377          | aaa             |
| 7954          | aaa             |
| 7929          | aaa             |
| 7880          | aaa             |
| 7096          | aaa             |
| 6941          | aaa             |
| 6726          | aaa             |
| 6182          | aaa             |
| 6151          | aaa             |
| 5223          | aaa             |
| 5127          | aaa             |
| 4945          | aaa             |
| 4728          | aaa             |
| 4332          | aaa             |
| 4320          | aaa             |
| 4204          | aaa             |
| 3973          | aaa             |
| 3774          | aaa             |
| 3749          | aaa             |
| 3683          | aaa             |
| 2543          | aaa             |
| 2393          | aaa             |
| 2340          | aaa             |
| 2323          | aaa             |
| 2287          | aaa             |
| 2179          | aaa             |
| 1795          | aaa             |
| 1574          | aaa             |
| 1391          | aaa             |
| 1279          | aaa             |
| 1271          | aaa             |
| 505           | aaa             |
| 109           | aaa             |
+---------------+-----------------+--+

# 帶limit排序(會額外再啟動一個job進行全域性排序)
0: jdbc:hive2://> select * from sort_test sort by id desc limit 300;
+---------------+-----------------+--+
| sort_test.id  | sort_test.name  |
+---------------+-----------------+--+
| 9901          | aaa             |
| 9719          | aaa             |
| 9684          | aaa             |
| 9636          | aaa             |
| 9562          | aaa             |
| 9340          | aaa             |
| 9335          | aaa             |
| 9019          | aaa             |
| 9007          | aaa             |
| 8965          | aaa             |
| 8961          | aaa             |
| 8905          | aaa             |
| 8881          | aaa             |
| 8689          | aaa             |
| 8552          | aaa             |
| 8377          | aaa             |
| 8177          | aaa             |
| 7954          | aaa             |
| 7929          | aaa             |
| 7880          | aaa             |
| 7837          | aaa             |
| 7699          | aaa             |
| 7502          | aaa             |
| 7096          | aaa             |
| 6941          | aaa             |
| 6726          | aaa             |
| 6559          | aaa             |
| 6448          | aaa             |
| 6228          | aaa             |
| 6182          | aaa             |
| 6151          | aaa             |
| 6024          | aaa             |
| 6006          | aaa             |
| 5975          | aaa             |
| 5910          | aaa             |
| 5869          | aaa             |
| 5739          | aaa             |
| 5682          | aaa             |
| 5541          | aaa             |
| 5448          | aaa             |
| 5415          | aaa             |
| 5288          | aaa             |
| 5223          | aaa             |
| 5164          | aaa             |
| 5160          | aaa             |
| 5127          | aaa             |
| 5083          | aaa             |
| 4945          | aaa             |
| 4878          | aaa             |
| 4826          | aaa             |
| 4728          | aaa             |
| 4679          | aaa             |
| 4616          | aaa             |
| 4332          | aaa             |
| 4320          | aaa             |
| 4245          | aaa             |
| 4207          | aaa             |
| 4204          | aaa             |
| 3973          | aaa             |
| 3774          | aaa             |
| 3749          | aaa             |
| 3736          | aaa             |
| 3683          | aaa             |
| 3451          | aaa             |
| 3226          | aaa             |
| 3040          | aaa             |
| 2989          | aaa             |
| 2720          | aaa             |
| 2670          | aaa             |
| 2543          | aaa             |
| 2393          | aaa             |
| 2340          | aaa             |
| 2340          | aaa             |
| 2323          | aaa             |
| 2287          | aaa             |
| 2231          | aaa             |
| 2206          | aaa             |
| 2179          | aaa             |
| 2054          | aaa             |
| 2037          | aaa             |
| 1795          | aaa             |
| 1766          | aaa             |
| 1614          | aaa             |
| 1574          | aaa             |
| 1540          | aaa             |
| 1506          | aaa             |
| 1420          | aaa             |
| 1391          | aaa             |
| 1279          | aaa             |
| 1271          | aaa             |
| 1268          | aaa             |
| 834           | aaa             |
| 784           | aaa             |
| 582           | aaa             |
| 505           | aaa             |
| 444           | aaa             |
| 376           | aaa             |
| 246           | aaa             |
| 109           | aaa             |
| 19            | aaa             |
+---------------+-----------------+--+
  • Order By 和 Sort By區別
    • Order By全域性排序，Sort By區域性排序
    • 取TopN時，Sort By 比 Order By效率更高
  • Distribute By
    • 查詢語句對指定欄位分組
    • 通常結合Sort By語句使用，比如同一個地區，不同商家排序，就需要用到這個
  • Cluster By
    • 分組且排序，等價於 Distribute By 和 Sort By 的結合
-- 使用示例
SELECT col1, col2 FROM t1 CLUSTER BY col1

SELECT col1, col2 FROM t1 DISTRIBUTE BY col1
 
SELECT col1, col2 FROM t1 DISTRIBUTE BY col1 SORT BY col1 ASC, col2 DESC

參考資料

【0】Hive wiki - LanguageManual SortBy

相關推薦

Hive之Order,Sort,Cluster and Distribute By

測試資料 create table sort_test( id int, name string ) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile; [

Hive中order by,sort by, distribute by, cluster by區別，用法詳解

1. order by     Hive中的order by跟傳統的sql語言中的order by作用是一樣的，會對查詢的結果做一次全域性排序，所以說，只有hive的sql中制定了order by所有的資料都會到同一個reducer進行處理（不管有多少map，也不管檔案有多少

Hive中order by sort by distribute by cluster by用法

1、order by      hive中的order by和傳統sql中的order by 一樣，會對資料做全域性排序，加上排序，會新啟動一個jod進行排序，會把所有資料放到同一個reduce中進行處理，不管資料多少， 不管檔案多少，都啟用一個reduce進行處理。 注意

hive中 order by ,distribute by ,cluster by ,sort by 區別

id name old 1 張三 10 1 李四 15 3 王五 20 4 趙

hive 中 order by ,sort by ,distribute by ,cluster by 詳解

1. order by order by 會對輸入做全域性排序，因此只有一個reducer（多個reducer無法保證全域性有序） 只有一個reducer，會導致當輸入規模較大時，需要較長的計算時間。 set hive.mapred.mode=nonstrict; (default

hive中order by,sort by, distribute by, cluster by作用以及用法

1. order by     Hive中的order by跟傳統的sql語言中的order by作用是一樣的，會對查詢的結果做一次全域性排序，所以說，只有hive的sql中制定了order by所有的資料都會到同一個reducer進行處理（不管有多少map，也不管檔案有多

hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法

order by order by 會對輸入做全域性排序，因此只有一個reducer（多個reducer無法保證全域性有序） 只有一個reducer，會導致當輸入規模較大時，需要較長的計算時間。 set hive.mapred.mode=nonstrict; (default value

order by/sort by/distribute by /cluster by 的區分

主要說說這3者的區分和場景： 1.order by:這是日常使用最多的，因為是最終的排序，所以是全域性的，所以最後只會有1個reduce(set mapred.reduce.tasks=n無效)完成。假如sql的執行結果的資料量很大的話，這裡就會比較坑。 2.sort by:sortby不是全域性排序，資

每天學習筆記系列-HIVE SQL : ORDER BY 與 SORT BY

之前一直沒太關注 order by 和sort by的區別，今天看了下。 首先 ，如果在 嚴格模式下直接使用order by 會報錯，必須加上 LIMIT關鍵字; In strict mode

hive的 order by & distribute by & cluter by

系統 字段 cer 觀察 多個 ron str from code 我們應該都清楚order by 的含義： 根據某個字段對輸出的數據排序，因為只有一個reducer，所以查詢效率較慢。 那麽hive中，另外兩個排序，distribute by和cluster b

玩得一手好註入之order by排序篇

布爾 idt center 取反 操作符 aaa 發生 9.png 很多 看了之前Gr36_前輩在先知上的議題，其中有提到排序註入，這個在最近經常遇到這樣的問題，所以先總結下order by 排序註入的知識。 0×0

Hive之GROUP BY詳解

pre 單元格 設置 有一個 sql語句 ima style class 性能 一，GROUP BY 執行理解 先來看下表1，表名為test： 表1 　　執行如下SQL語句： SELECT name from test GROUP BY name ; 你應該很容易知

oracle 之分析函式 over （partition by ...order by ...）

一：分析函式overOracle從8.1.6開始提供分析函式，分析函式用於計算基於組的某種聚合值，它和聚合函式的不同之處是對於每個組返回多行，而聚合函式對於每個組只返回一行。 1、分析函式和聚合函式的不同之處： 分析函式和聚合函式很多是同名的，意思也一樣，只是聚合函式用group by分組，每個分組返回一

讓天下沒有難用的資料庫 » MySql sql優化之order by desc/asc limit M

Order by desc/asc limit M是我在mysql sql優化中經常遇到的一種場景，其優化原理也非常的簡單，就是利用索引的有序性，優化器沿著索引的順序掃描，在掃描到符合條件的M行資料後，停止掃描；看起來非常的簡單，但是我經常看到很多效能較差的sql沒有利用這個優化規律，下面將結合一些

MySQL查詢優化之order by的優化

原文地址：https://dev.mysql.com/doc/refman/5.7/en/order-by-optimization.html 譯文： 8.2.1.14 ORDER BY 優化 本節描述MySQL何時可以使用索引來滿足order by子句，不能使用索引時使用的檔

SQL語句之ORDER BY子句

對結果進行排序（ORDER BY子句）       在SQL中可以使用ORDER BY子句對查詢的結果進行排序。       例：現在使用查詢全部的語句查詢表EMP中的所有內容。      

MySQL之ORDER BY 詳細解析

1 概述 MySQL有兩種方式可以實現ORDER BY： 1.通過索引掃描生成有序的結果 2.使用檔案排序(filesort) 圍繞著這兩種排序方式，我們試著理解一下ORDER BY的執行過程以及回答一些常見的問題（下文僅討論InnoDB儲存引擎）。

【MySQL】效能優化之 order by (一)

前言    工作過程中,各種業務需求在訪問資料庫的時候要求有order by排序。有時候不必要的或者不合理的排序操作很可能導致資料庫系統崩潰。如何處理好order by排序呢？本文從原理以及優化層面介紹 order by 。一 MySQL中order by的原理   1 利用索引的有序性獲取有序資料  當查詢

05-SQLite之order by對結果集進行排序

一、order by語句概述 order by語句用於根據指定的列對結果集進行排序。 order by 語句預設按照升序對記錄進行排序。 如果您希望按照降序對記錄進行排序，可以使用 desc 關鍵字 二、以字母順序顯示name 語法：select * from p

1015.WebGoat SQL註入之 Order by註入解題思路

使用 如果 tar osi items hist lec WebG options ★ Order by 註入本文所說的 Order by註入的題目在：Injection Flaws -> SQL injection(mitigation) -> 第8頁的題目