2. 程式人生 > >Hive窗口函數之LAG、LEAD、FIRST_VALUE、LAST_VALUE的用法

Hive窗口函數之LAG、LEAD、FIRST_VALUE、LAST_VALUE的用法

阿新 • • 發佈：2019-01-04
desc lead erb ive limit row next 可選 分組

一、創建表：

create table windows_ss

(

polno string,

eff_date string,

userno string

)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘,‘

stored as textfile;

數據準備：

P066666666666,2016-04-02 09:00:02,user01

P066666666666,2016-04-02 09:00:00,user02

P066666666666,2016-04-02 09:03:04,user11

P066666666666,2016-04-02 09:50:05,user03

P066666666666,2016-04-02 10:00:00,user51

P066666666666,2016-04-02 09:10:00,user09

P066666666666,2016-04-02 09:50:01,user32

P088888888888,2016-04-02 09:00:02,user41

P088888888888,2016-04-02 09:00:00,user55

P088888888888,2016-04-02 09:03:04,user23

P088888888888,2016-04-02 09:50:05,user80

P088888888888,2016-04-02 10:00:00,user08

P088888888888,2016-04-02 09:10:00,user22

P088888888888,2016-04-02 09:50:01,user31

將數據導入Hive表中：

LOAD DATA LOCAL INPATH ‘/home/hadoop/testhivedata/windows_ss.txt‘ OVERWRITE INTO TABLE windows_ss;

LAG

LAG(col,n,DEFAULT) 用於統計窗口內往上第n行值
第一個參數為列名，第二個參數為往上第n行（可選，默認為1），第三個參數為默認值（當往上第n行為NULL時候，取默認值，如不指定，則為NULL）

SELECT

polno,

eff_date,

userno,

ROW_NUMBER() OVER(PARTITION BY polno ORDER BY eff_date) AS rn,

LAG(eff_date,1,‘1970-01-01 00:00:00‘) OVER(PARTITION BY polno ORDER BY eff_date) AS last_1_time,

LAG(eff_date,2) OVER(PARTITION BY polno ORDER BY eff_date) AS last_2_time

FROM windows_ss;

結果：

polno eff_date userno rn last_1_time last_2_time

P066666666666 2016-04-02 09:00:00 user02 1 1970-01-01 00:00:00 NULL

P066666666666 2016-04-02 09:00:02 user01 2 2016-04-02 09:00:00 NULL

P066666666666 2016-04-02 09:03:04 user11 3 2016-04-02 09:00:02 2016-04-02 09:00:00

P066666666666 2016-04-02 09:10:00 user09 4 2016-04-02 09:03:04 2016-04-02 09:00:02

P066666666666 2016-04-02 09:50:01 user32 5 2016-04-02 09:10:00 2016-04-02 09:03:04

P066666666666 2016-04-02 09:50:05 user03 6 2016-04-02 09:50:01 2016-04-02 09:10:00

P066666666666 2016-04-02 10:00:00 user51 7 2016-04-02 09:50:05 2016-04-02 09:50:01

P088888888888 2016-04-02 09:00:00 user55 1 1970-01-01 00:00:00 NULL

P088888888888 2016-04-02 09:00:02 user41 2 2016-04-02 09:00:00 NULL

P088888888888 2016-04-02 09:03:04 user23 3 2016-04-02 09:00:02 2016-04-02 09:00:00

P088888888888 2016-04-02 09:10:00 user22 4 2016-04-02 09:03:04 2016-04-02 09:00:02

P088888888888 2016-04-02 09:50:01 user31 5 2016-04-02 09:10:00 2016-04-02 09:03:04

P088888888888 2016-04-02 09:50:05 user80 6 2016-04-02 09:50:01 2016-04-02 09:10:00

P088888888888 2016-04-02 10:00:00 user08 7 2016-04-02 09:50:05 2016-04-02 09:50:01

分析：

last_1_time: 指定了往上第1行的值，default為‘1970-01-01 00:00:00‘

P066666666666第一行，往上1行為NULL,因此取默認值 1970-01-01 00:00:00

P066666666666第三行，往上1行值為第二行值，2016-04-02 09:00:02

P066666666666第六行，往上1行值為第五行值，2016-04-02 09:50:01

last_2_time: 指定了往上第2行的值，為指定默認值

P088888888888第一行，往上2行為NULL

P088888888888第二行，往上2行為NULL

P088888888888第四行，往上2行為第二行值，2016-04-02 09:00:02

P088888888888第七行，往上2行為第五行值，2016-04-02 09:50:01

LEAD

與LAG相反

LEAD(col,n,DEFAULT) 用於統計窗口內往下第n行值

第一個參數為列名，第二個參數為往下第n行（可選，默認為1），第三個參數為默認值（當往下第n行為NULL時候，取默認值，如不指定，則為NULL）

SELECT

polno,

eff_date,

userno,

ROW_NUMBER() OVER(PARTITION BY polno ORDER BY eff_date) AS rn,

LEAD(eff_date,1,‘1970-01-01 00:00:00‘) OVER(PARTITION BY polno ORDER BY eff_date) AS next_1_time,

LEAD(eff_date,2) OVER(PARTITION BY polno ORDER BY eff_date) AS next_2_time

FROM windows_ss;

結果：

polno eff_date userno rn next_1_time next_2_time

P066666666666 2016-04-02 09:00:00 user02 1 2016-04-02 09:00:02 2016-04-02 09:03:04

P066666666666 2016-04-02 09:00:02 user01 2 2016-04-02 09:03:04 2016-04-02 09:10:00

P066666666666 2016-04-02 09:03:04 user11 3 2016-04-02 09:10:00 2016-04-02 09:50:01

P066666666666 2016-04-02 09:10:00 user09 4 2016-04-02 09:50:01 2016-04-02 09:50:05

P066666666666 2016-04-02 09:50:01 user32 5 2016-04-02 09:50:05 2016-04-02 10:00:00

P066666666666 2016-04-02 09:50:05 user03 6 2016-04-02 10:00:00 NULL

P066666666666 2016-04-02 10:00:00 user51 7 1970-01-01 00:00:00 NULL

P088888888888 2016-04-02 09:00:00 user55 1 2016-04-02 09:00:02 2016-04-02 09:03:04

P088888888888 2016-04-02 09:00:02 user41 2 2016-04-02 09:03:04 2016-04-02 09:10:00

P088888888888 2016-04-02 09:03:04 user23 3 2016-04-02 09:10:00 2016-04-02 09:50:01

P088888888888 2016-04-02 09:10:00 user22 4 2016-04-02 09:50:01 2016-04-02 09:50:05

P088888888888 2016-04-02 09:50:01 user31 5 2016-04-02 09:50:05 2016-04-02 10:00:00

P088888888888 2016-04-02 09:50:05 user80 6 2016-04-02 10:00:00 NULL

P088888888888 2016-04-02 10:00:00 user08 7 1970-01-01 00:00:00 NULL

分析：

--邏輯與LAG一樣，只不過LAG是往上，LEAD是往下

FIRST_VALUE

取分組內排序後，截止到當前行，第一個值

SELECT

polno,

eff_date,

userno,

ROW_NUMBER() OVER(PARTITION BY polno ORDER BY eff_date) AS rn,

FIRST_VALUE(userno) OVER(PARTITION BY polno ORDER BY eff_date) AS first1

FROM windows_ss;

polno eff_date userno rn first1

P066666666666 2016-04-02 09:00:00 user02 1 user02

P066666666666 2016-04-02 09:00:02 user01 2 user02

P066666666666 2016-04-02 09:03:04 user11 3 user02

P066666666666 2016-04-02 09:10:00 user09 4 user02

P066666666666 2016-04-02 09:50:01 user32 5 user02

P066666666666 2016-04-02 09:50:05 user03 6 user02

P066666666666 2016-04-02 10:00:00 user51 7 user02

P088888888888 2016-04-02 09:00:00 user55 1 user55

P088888888888 2016-04-02 09:00:02 user41 2 user55

P088888888888 2016-04-02 09:03:04 user23 3 user55

P088888888888 2016-04-02 09:10:00 user22 4 user55

P088888888888 2016-04-02 09:50:01 user31 5 user55

P088888888888 2016-04-02 09:50:05 user80 6 user55

P088888888888 2016-04-02 10:00:00 user08 7 user55

LAST_VALUE

取分組內排序後，截止到當前行，最後一個值

SELECT

polno,

eff_date,

userno,

ROW_NUMBER() OVER(PARTITION BY polno ORDER BY eff_date) AS rn,

LAST_VALUE(userno) OVER(PARTITION BY polno ORDER BY eff_date) AS last1

FROM windows_ss;

結果：

polno eff_date userno rn last1

P066666666666 2016-04-02 09:00:00 user02 1 user02

P066666666666 2016-04-02 09:00:02 user01 2 user01

P066666666666 2016-04-02 09:03:04 user11 3 user11

P066666666666 2016-04-02 09:10:00 user09 4 user09

P066666666666 2016-04-02 09:50:01 user32 5 user32

P066666666666 2016-04-02 09:50:05 user03 6 user03

P066666666666 2016-04-02 10:00:00 user51 7 user51

P088888888888 2016-04-02 09:00:00 user55 1 user55

P088888888888 2016-04-02 09:00:02 user41 2 user41

P088888888888 2016-04-02 09:03:04 user23 3 user23

P088888888888 2016-04-02 09:10:00 user22 4 user22

P088888888888 2016-04-02 09:50:01 user31 5 user31

P088888888888 2016-04-02 09:50:05 user80 6 user80

P088888888888 2016-04-02 10:00:00 user08 7 user08

如果不指定ORDER BY，則默認按照記錄在文件中的偏移量進行排序，會出現錯誤的結果

FIRST_VALUE沒有排序：

SELECT

polno,

eff_date,

userno,

FIRST_VALUE(userno) OVER(PARTITION BY polno) AS first2

FROM windows_ss;

polno eff_date userno first2

P066666666666 2016-04-02 09:00:02 user01 user01

P066666666666 2016-04-02 09:00:00 user02 user01

P066666666666 2016-04-02 09:03:04 user11 user01

P066666666666 2016-04-02 09:50:05 user03 user01

P066666666666 2016-04-02 10:00:00 user51 user01

P066666666666 2016-04-02 09:10:00 user09 user01

P066666666666 2016-04-02 09:50:01 user32 user01

P088888888888 2016-04-02 09:00:02 user41 user41

P088888888888 2016-04-02 09:00:00 user55 user41

P088888888888 2016-04-02 09:03:04 user23 user41

P088888888888 2016-04-02 09:50:05 user80 user41

P088888888888 2016-04-02 10:00:00 user08 user41

P088888888888 2016-04-02 09:10:00 user22 user41

P088888888888 2016-04-02 09:50:01 user31 user41

LAST_VALUE沒有排序：

SELECT

polno,

eff_date,

userno,

LAST_VALUE(userno) OVER(PARTITION BY polno) AS last2

FROM windows_ss;

結果：

polno eff_date userno last2

P066666666666 2016-04-02 09:00:02 user01 user32

P066666666666 2016-04-02 09:00:00 user02 user32

P066666666666 2016-04-02 09:03:04 user11 user32

P066666666666 2016-04-02 09:50:05 user03 user32

P066666666666 2016-04-02 10:00:00 user51 user32

P066666666666 2016-04-02 09:10:00 user09 user32

P066666666666 2016-04-02 09:50:01 user32 user32

P088888888888 2016-04-02 09:00:02 user41 user31

P088888888888 2016-04-02 09:00:00 user55 user31

P088888888888 2016-04-02 09:03:04 user23 user31

P088888888888 2016-04-02 09:50:05 user80 user31

P088888888888 2016-04-02 10:00:00 user08 user31

P088888888888 2016-04-02 09:10:00 user22 user31

P088888888888 2016-04-02 09:50:01 user31 user31
如果想要取分組內排序後最後一個值，則需要變通一下：

SELECT

polno,

eff_date,

userno,

ROW_NUMBER() OVER(PARTITION BY polno ORDER BY eff_date) AS rn,

LAST_VALUE(userno) OVER(PARTITION BY polno ORDER BY eff_date) AS last1,

FIRST_VALUE(userno) OVER(PARTITION BY polno ORDER BY eff_date DESC) AS last2

FROM windows_ss ORDER BY polno,eff_date;

polno eff_date userno rn last1 last2

P066666666666 2016-04-02 09:00:00 user02 1 user02 user51

P066666666666 2016-04-02 09:00:02 user01 2 user01 user51

P066666666666 2016-04-02 09:03:04 user11 3 user11 user51

P066666666666 2016-04-02 09:10:00 user09 4 user09 user51

P066666666666 2016-04-02 09:50:01 user32 5 user32 user51

P066666666666 2016-04-02 09:50:05 user03 6 user03 user51

P066666666666 2016-04-02 10:00:00 user51 7 user51 user51

P088888888888 2016-04-02 09:00:00 user55 1 user55 user08

P088888888888 2016-04-02 09:00:02 user41 2 user41 user08

P088888888888 2016-04-02 09:03:04 user23 3 user23 user08

P088888888888 2016-04-02 09:10:00 user22 4 user22 user08

P088888888888 2016-04-02 09:50:01 user31 5 user31 user08

P088888888888 2016-04-02 09:50:05 user80 6 user80 user08

P088888888888 2016-04-02 10:00:00 user08 7 user08 user08

註意：

在使用分析函數的過程中，要特別註意ORDERBY子句，用的不恰當，統計出的結果就不是你所期望的

Hive窗口函數之LAG、LEAD、FIRST_VALUE、LAST_VALUE的用法

相關推薦

Hive窗口函數之LAG、LEAD、FIRST_VALUE、LAST_VALUE的用法

desc lead erb ive limit row next 可選 分組 一、創建表： create table windows_ss ( polno string, eff_date string, userno string ) ROW FO

Hive窗口函數

列名 lar hit ack apache fff tro 地址 lang 參考地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics 環境準備：

Hive學習之路 （十五）Hive分析窗口函數(三) CUME_DIST和PERCENT_RANK

select rank com ble class mina src format () 這兩個序列分析函數不是很常用，這裏也練習一下。 數據準備 數據格式 cookie3.txt d1,user1,1000 d1,user2,2000 d1,user3,

Hive分析窗口函數(一) SUM,AVG,MIN,MAX

nal text 3.3 如果 htm 相關 com 註意 分析 Hive分析窗口函數(一) SUM,AVG,MIN,MAX Hive分析窗口函數(一) SUM,AVG,MIN,MAX Hive中提供了越來越多的分析函數，用於完成負責的統計分析。抽時間將所有的分析窗口函

一道hive面試題（窗口函數）

import color 格式 win lin nbsp 面試 select eight 表student中的數據格式如下： name month degree s1 201801 As1 201802 As1 201803 Cs1 201804 As1 2

Hive分析窗體函數之SUM，AVG，MIN和MAX

align 4.5 版本 bottom pos right adding track mat Hive中提供了非常多的分析函數，用於完畢負責的統計分析。本文先介紹SUM、AVG、MIN、MAX這四個函數。環境信息：Hive版本號為apache-hive-0.14.0-b

Hive分析窗體函數之NTILE，ROW_NUMBER，RANK和DENSE_RANK

des div 切片 post content part 相等 ren 分組內排序 繼續介紹幾個序列函數：NTILE。ROW_NUMBER，RANK和DENSE_RANK環境信息：Hive版本號為apache-hive-0.14.0-binHadoop版本號為hadoo

PostgreSQL>窗口函數的用法

cti wid 查詢語句 業務開發 只需要 表結構 需求 數據庫 target PostgreSQL之窗口函數的用法 轉載請註明出處:https://www.cnblogs.com/funnyzpc/p/9311281.html 　　PostgreSQL的高級特性本

窗口函數/解析函數

value 標準差 log 參數 ear select語句 tro 最小 bound 分析函數是以一定的方法在一個與當前行相關的結果子集中進行計算，也稱為窗口函數。 Function(arg1 , arg2 ……) over(partition by clause orde

SQLServer 窗口函數（轉載）

cas where partition etime bold info dog 例如 jpg 一、窗口函數的作用 窗口函數是對一組值進行操作，不需要使用GROUP BY 子句對數據進行分組，還能夠在同一行中同時返回基礎行的列和聚合列。窗口函數，基礎列和聚合列的查

Day 19 函數之閉包、裝飾器

false print glob src true success 返回值 count please 一、什麽是裝飾器 器即函數 裝飾即修飾，意指為其他函數添加新功能 裝飾器定義：本質就是函數，功能是為其他函數添加新功能 二、裝飾器遵循的原則 1.不修改被裝飾函數

python基礎-函數之裝飾器、叠代器與生成器

內部 class 叠代 code res 裝飾器 div 基礎 foo 1. 函數嵌套 1.1 函數嵌套調用 　　函數的嵌套調用：在調用一個函數的過程中，又調用了其他函數 def bar(): print("from in the bar.") def foo(

skb管理函數之alloc_skb、dev_alloc_skb、kfree_skb、dev_kfree_skb、consume_skb

save ren rect str make define sed his offsetof alloc_skb--分配skb dev_alloc_skb--分配skb，通常被設備驅動用在中斷上下文中，它是alloc_skb的封裝函數，因為在中斷處理函數中被調用，因此要求

skb管理函數之skb_clone、pskb_copy、skb_copy

發送 converts reat bsp led where log roo ket skb_clone--只復制skb描述符本身，如果只修改skb描述符則使用該函數克隆； pskb_copy--復制skb描述符+線性數據區域（包括skb_shared_info），如果需

skb管理函數之skb_put、skb_push、skb_pull、skb_reserve

color panic star header remove ear 函數 rst extra 四個操作函數直接的區別，如下圖： 1 /** 2 * skb_put - add data to a buffer 3 * @skb:

python函數之參數、參數解構

函數函數 python函數組成: 定義語句,函數名,參數列表,代碼塊 函數作用: 將一段功能代碼封裝起來,便於復用. 代碼更加簡潔. 函數的分類: 內建函數: 如,max()等 庫函數: 如,math.c

Python函數之返回值、作用域和局部變量

16px 未定義 過程 gpo mil 列表 scope 如果 info 一、函數返回值 　　說到返回值，相信大家肯定都認識，沒錯，就是return。 　　所謂返回值可以這樣理解：函數外部的代碼要想獲取函數的執行結果，就可以在函數裏用return語句把結果返回。 　　那具體

Go-內置函數之append、recover用法

pri sleep ack 輸出結果 print return err 用法 erro package main import "fmt" import "time" func test() { defer func() { if err := recove

ORACLE 內置函數之GREATEST和LEAST

表達式 lec 函數實現 rom 返回值 常用 rac null oracl Oracle比較一列的最大值或者最小值，我們會不假思索地用MAX和MIN函數，但是對於比較一行的最大值或最小值呢？是不是日常用的少，很多人都不知道有ORACLE也有內置函數實現這個功能：COAL

mysql數據庫函數 concat 字段類型轉化、字段拼接

函數 gre false class blog varchar 取出 pro from select l.lid, GROUP_CONCAT(s.NAME) shopname, m.realname,