這裡講解下使用者畫像的技術架構和整體實現，那麼就從資料整理、資料平臺、面向應用三個方面來討論一個架構的實現（個人見解）。

資料整理：

1、資料指標的的梳理來源於各個系統日常積累的日誌記錄系統，通過sqoop匯入hdfs,也可以用程式碼來實現，比如spark的jdbc連線傳統資料庫進行資料的cache。還有一種方式，可以通過將資料寫入本地檔案，然後通過sparksql的load或者hive的export等方式匯入HDFS。

2、通過hive編寫UDF 或者hiveql 根據業務邏輯拼接ETL，使使用者對應上不同的使用者標籤資料（這裡的指標可以理解為為每個使用者打上了相應的標籤），生成相應的源表資料,以便於後續使用者畫像系統，通過不同的規則進行標籤寬表的生成。

資料平臺

1、資料平臺應用的分散式檔案系統為Hadoop的HDFS，因為Hadoop2.0以後,任何的大資料應用都可以通過ResoureManager申請資源，註冊服務。比如(sparksubmit、hive）等等。而基於記憶體的計算框架的出現，就並不選用hadoop的MapReduce了。當然很多離線處理的業務，很多人還是傾向於使用Hadoop,但是hadoop的封裝的函式只有map和Reduce太過單一，而不像spark一類的計算框架有更多封裝的函式（可參考部落格spark專欄）。可以大大提升開發效率。

2、計算的框架選用Spark以及RHadoop,這裡Spark的主要用途有兩種，一種是對於資料處理與上層應用所指定的規則的資料篩選過濾，(通過Scala編寫spark程式碼提交至sparksubmit)。一種是服務於上層應用的SparkSQL（通過啟動spark thriftserver與前臺應用進行連線）。 RHadoop的應用主要在於對於標籤資料的打分，比如利用協同過濾演算法等各種推薦演算法對資料進行各方面評分。

3、MongoDB記憶體資料的應用主要在於對於單個使用者的實時的查詢，也是通過對spark資料梳理後的標籤寬表進行資料格式轉換(json格式）匯入mongodb,前臺應用可通過連線mongodb進行資料轉換，從而進行單個標籤的展現。（當然也可將資料轉換為Redis中的key value形式，匯入Redis叢集)

4、mysql的作用在於針對上層應用標籤規則的儲存，以及頁面資訊的展現。後臺的資料寬表是與spark相關聯，通過連線mysql隨後cache元資料進行filter,select,map,reduce等對元資料資訊的整理,再與真實存在於Hdfs的資料進行處理。

面向應用

1、從剛才的資料整理、資料平臺的計算，都已經將服務於上層應用的標籤大寬表生成。（使用者所對應的各類標籤資訊）。那麼前臺根據業務邏輯，勾選不同的標籤進行求和、剔除等操作，比如本月流量大於200M使用者（標籤）+本月消費超過100元使用者（標籤）進行和的操作，通過前臺程式碼實現sql的拼接，進行客戶數目的探索。這裡就是通過jdbc的方式連線spark的thriftserver，通過叢集進行HDFS上的大寬表的運算求count。（這裡要注意一點，很多sql聚合函式以及多表關聯join 相當於hadoop的mapreduce的shuffle,很容易造成記憶體溢位，相關引數調整可參考本部落格spark欄目中的配置資訊） 這樣便可以定位相應的客戶數量，從而進行客戶群、標籤的分析，產品的策略匹配從而精準營銷。

轉自:http://www.cnblogs.com/yangsy0915/p/5222705.html