專案介紹

1. 技術框架
spark core spark sql 以及spark streaming 進行離線和實時計算業務模組
2. 功能模組 4個
使用者session分析

• 使用者session統計分析
• session聚合指標計算
• 按比例隨機抽取session
• 獲取每天點選
• 下單和購買排名前10的品類
• top10品類的點選量
• 排名前10的session

頁面單跳轉化率統計：

• 計算關鍵頁面之間的單步跳轉轉化率
• 頁面流匹配演算法

熱門商品離線統計:

• 每天統計出各個區域的top3熱門商品
• 使用Oozie進行離線統計任務的定時排程
• 使用Zeppeline進行資料視覺化的報表展示

廣告流量實時統計：Spark Streaming

• 實時統計公司的廣告流量
• 廣告展現流量和廣告點選流量
• 實現動態黑名單機制，以及黑名單過濾
• 實現滑動視窗內的各城市的廣告展現流量和廣告點選流量的統計
• 實現每個區域每個廣告的點選流量實時統計；
• 實現每個區域top3點選量的廣告的統

3. 開發流程
需求分析
方案設計
資料設計
編碼實現
測試
效能調優

4. 所能學到的知識？
效能調優、troubleshooting以及資料傾斜等知識