最近接到一個需求，需要統計使用者留存率，而且要一次統計多個模組，多個日期的留存率，那如何通過一段hive(SQL)來實現該需求呢，在網上看到一篇很精妙的文章，參考這篇文章實現了需求，可以說是目前見過的一次性統計多個時間區間留存率的最佳實踐了，感謝樓主的經驗分享，好東西，多記錄，多分享！

首先使用者留存率一般是面向新增使用者的概念,是指某一天註冊後的幾天還是否活躍,是以每天為單位進行計算的.

一般收到的需求都是一個時間段內的新增使用者的幾天留存

(1)找到這個時間段內的新增使用者(也可能含有地區啊的各種附加條件),一般在日活表中有記錄是否是新增狀態.
　　注意,需要以天為單位進行分組找出使用者的id.因為留存率都是以每天為單位進行計算的.

(2)找到這個時間段內的活躍使用者(active_date,user_id)

(3)以 1表 為主表left join 2表 以user_id為關聯鍵,統計留存數

　　這樣後的記錄型別為:register_date,user_id,active_date

　　register_date為新增日期,即留存率的單位天.

　　user_id為使用者id,distinct user_id來計算使用者數

留存率怎麼算?
　　active_date - register_date = 1,說明註冊的次日使用者是活躍的,所以count+1
　　所以我們只要關注 active_date 和 register_date 相差天數即可統計留存數

(4)計算留存率

程式碼模板：原文中存在一些小錯誤，已改正，group by 中的數字我這邊是報錯的，所以可直接替換為物件的列名

select dim_date
  ,node_id
  ,total_cnt
  ,concat_ws('% | ', cast(round(dif_1cnt*100/total_cnt, 2) as string), cast(dif_1cnt as string))
  ,concat_ws('% | ', cast(round(dif_2cnt*100/total_cnt, 2) as string), cast(dif_2cnt as string))
  ,concat_ws('% | ', cast(round(dif_3cnt*100/total_cnt, 2) as string), cast(dif_3cnt as string))
  ,concat_ws('% | ', cast(round(dif_4cnt*100/total_cnt, 2) as string), cast(dif_4cnt as string))
from (
  select p1.state dim_date,
  p1.node_id,
  count(distinct p1.user_id) total_cnt,
  count(distinct if(datediff(p3.state,p1.state) = 1, p1.user_id, null)) dif_1cnt  ,
  count(distinct if(datediff(p3.state,p1.state) = 2, p1.user_id, null)) dif_2cnt  ,
  count(distinct if(datediff(p3.state,p1.state) = 3, p1.user_id, null)) dif_3cnt  ,
  count(distinct if(datediff(p3.state,p1.state) = 4, p1.user_id, null)) dif_4cnt
  from (
    select
    from_unixtime(unix_timestamp(cast(partition_date as string), 'yyyyMMdd'), 'yyyy-MM-dd') state,
    user_id，
    node_id
    from user_active_day
    where partition_date between date1 and date2
    and user_is_new = 1
    group by 1,2,3 --如果不行用欄位替換，group by去重優於distinct
  )p1 left outer join (   --日新增使用者名稱單(register_date,user_id)
    select
    from_unixtime(unix_timestamp(cast(partition_date as string), 'yyyyMMdd'), 'yyyy-MM-dd') state,
    user_id,
    node_id
    from active_users
    where partition_date between date1 and date2
    group by 1,2,3
  )p3 on (p3.user_id = p1.user_id and p3.node_id=p1.node_id) --期間活躍使用者(active_date,user_id)
group by 1,2
) p4;
　　

　　#################################################################################

分割線：如上是計算留存率的一種通用方法（如上抄來的，學來的），但當用戶和資料量特別大時，或者業務調整頻繁時，效能還是非常差。

2020年初接到鑫哥一個任務，計算整體垂類的留存率資料，背景：為LTV等其他指標做基礎資料，指導業務發展，要求：支援動態業務調整和查詢秒級返回。

通常留存率指標都是作用在新使用者上的，首先第一步明確新使用者的定義：集團給的規範是一年內未登入的使用者即為新使用者，所有時間比較係數為365。

調研業界，騰訊的IMEI分析，美團的訂單分析，都在探索bitmap，所以嘗試使用bitmap完成此需求，開源實現的。

上手比較快的，可以用doris，我廠開源的產品，技術還是不出的，連結：http://doris.apache.org/master/zh-CN/administrator-guide/alter-table/alter-table-bitmap-index.html#%E5%8F%96%E6%B6%88%E4%BD%9C%E4%B8%9A

https://www.bookstack.cn/read/ApacheDoris-0.12-zh/e46d8c8d445173f6.md

初始資料：原始日誌表

中間的結構：

最終的結構：

CREATE TABLE `pv_bitmap` (
  `dt` int(11) NULL COMMENT "",
  `page` varchar(10) NULL COMMENT "",
  `user_id` bitmap BITMAP_UNION NULL COMMENT ""
) ENGINE=OLAP
AGGREGATE KEY(`dt`, `page`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`dt`) BUCKETS 2;