本文主要分享個人經歷中關於推薦系統的應用理解，包括整體推薦系統架構設計、推薦後臺服務設計。

推薦系統架構設計 1.0

推薦系統根據資料使用劃分為線上和離線兩部分。APP服務日誌通過flume採集，然後傳給離線和線上業務使用。離線資料主要用來離線訓練模型，如gbdt、lr、xgboost等，線上資料特徵用來讓模型進行線上預測。如下圖所示：

• 線上部分

實時資料從kafka獲取到後直接進入spark streaming（這裡也可以用其他實時計算技術，如storm，flink）進行處理，計算出實時特徵存入redis，供線上模型預測服務使用。

• 離線部分

離線部分資料主要分為兩部分，一部分是mysql定時拉取過去，另一部分是從flume實時拉資料到hive資料倉庫。mysql主要儲存使用者相關變動頻率小的屬性特徵，flume採集計算的主要是帖子（feed）相關變化頻率大的特徵。

推薦系統後臺設計 1.0

推薦主要方法分為召回和排序過程，召回過程是粗步選取資料，排序過程是對篩選後的資料精確排序，結果返回給使用者。

推薦後臺架構圖

過程如下：

1. 使用者請求介面，傳入uid作為引數。
2. 先看使用者uid對應在快取中有沒有推薦結果，如果有則直接獲取返回，如果沒有則重新獲取。
3. 根據使用者uid，去不同召回源獲取對應候選帖子。
4. 選取的帖子需要進行去重，過濾狀態異常帖子。
5. 對不同召回源獲取的帖子先合併，然後隨機取1000條。
6. 排序環節，對1000條帖子進行打分排序，取top 200條。
7. 根據使用者歷史推薦資訊，對獲取到的200條資料進行過濾，保證推薦結果不重複。
8. 對過濾結果取25條返回使用者，剩下帖子放在快取，等待下次請求使用。

備註： 上面的帖子取的條數都是根據實際經驗選擇，具體可以調整。