微信公眾號：大資料小世界
專案介紹

1. 在PC時代，營銷的核心是購買，在移動網際網路時代，其核心是如何實現使用者個性化互動，對使用者傳播更為精準化的內容，而實現這一核心的基礎就是對資料的管理和分析——資料驅動型商業模型。
2. 各類網際網路服務產品(如網站、APP)都可以通過前端技術獲取使用者的詳細行為資料(如訪問的頁面，點選的區域、登陸的頻次、註冊行為、購買的行為等)，將這些點選流日誌資料與後臺商業資料綜合起來，就可以挖掘對公司運營決策意義非凡的商業價值。
3. 本專案則是一個用大資料技術平臺實現的點選流日誌分析資料探勘系統，專案內容涵蓋一個典型資料探勘系統中，包括需求分析、資料採集、資料儲存管理、資料清洗、資料倉庫設計、ETL、業務模型統計分析、資料視覺化的全部流程。

需求分析

什麼是點選流日誌、點選流日誌的商業價值、點選流日誌分析需求
業務模型指標體系設計——流量分析、來源分析、受訪分析、訪客分析、轉化率分析

系統設計及開發

1. 系統架構設計
   
2. 資料採集設計及開發——資料格式、資料內容分析、資料生成規律、採集系統技術選型解析、FLUME採集系統實現
3. 資料儲存設計及開發——儲存技術選型、儲存業務流程解析、儲存目錄規劃及檔案命名規則、小檔案合併實現
4. 資料統計設計及開發——資料預處理、資料載入、原始資料表的建立、資料入庫、資料ETL
5. 報表統計設計——資料模型設計、事實表設計、維度表梳理
6. 業務指標設計及開發——PV統計(時間維度、終端維度、地域維度)、來訪次數統計(時間維度、地域維度、終端維度)、獨立訪客統計(時間維度、終端維度、地域維度)、受訪頁面統計(時間維度、欄目維度)、頁面熱點圖、轉化率分析、來源關鍵詞分析、來源搜尋引擎分析、來源廣告推廣分析
7. 這是我們咕泡學院為對大資料感興趣或者正在學習大資料的同學們開辦的一個大資料公開課，公開課是完全免費不收取任何費用的，想要學習的小夥伴可以加我們的大資料開發群學習交流群：862879153。

任務排程系統設計實現

任務排程單元實現、各環節任務執行頻次及依賴關係梳理、工作流設計及實現、工作流定義配置上傳部署、工作流啟動即狀態監控

資料視覺化——結果報表展現

1. hive分析結果使用sqoop匯出到msyql資料庫
2. 報表展現系統技術選型：
   後臺使用spingmvc + spring + mybatis
   前端頁面使用全靜態非同步刷新技術Jquery + Echarts
3. web展現程式架構搭建，使用maven構建專案工程
4. web展現程式頁面設計開發：原型頁面設計、js程式碼開發
5. 最終實現以下資料視覺化效果：

(1)流量概況視覺化效果：

(2)來源地域分析視覺化效果：

(3)來源型別分析視覺化效果：