一、專案架構分析：

1、專案描述：

將通話記錄資料由原來的oracle系統改造成使用大資料架構解決方案。主要使用hbase做通話資料的儲存方案。需要將原有oracle資料匯入到hbase中，以及新生成資料通過flume收集到kafka，再通過消費者儲存到hbase資料庫。

2、專案的目標：

hadoop+hbase+flume+zookeeper實現電信級海量通話日誌資料的儲存，隨機訪問與實時讀寫。通過hash技術對rowkey進行分析處理，解決hbase的熱點問題，協同coprocessor，解決系統的高吞吐量和查詢負載問題以及如何避免中間結果導致通知風暴或死遞迴問題

2.1專案要點難點

a)使用hadoop+hbase+flume+kafka + zookeeper實現海量通話日誌的儲存、隨機訪問與實時讀寫功能。 

b)採用hbase實現bigtable技術，通過鹽析rowkey結合表區域的預切割，實現資料在叢集上的均衡負載。

c)SSM實現前端web實現以及與後端HBase的互動架構方案

d)hive+oozie實現的週期任務排程

2.2業務介紹

按照文件要求，實現hbase協處理器處理，以及rowkey的鹽析處理按照部分統計分析設計要求，實現業務程式碼，例如按季度、年份、月份實現通話資料量的查詢分析統計資料視覺化

2.3功能實現

1、flume叢集實時收集記錄—>kafka叢集作為資料倉庫快取記憶體—>hbase以hadoop為基礎作為資料庫提供使用者實時讀寫功能—>前臺ssm web端展示

2、flume叢集實時收集記錄—>kafka叢集作為資料倉庫快取記憶體—>storm進行實時處理操作（如攔截資料等）—>前臺ssm web端展示 

(未完待續)