推薦系統測評

• 離線實驗：準備訓練數據測試數據並評估；
• 用戶調查：問卷方式、和用戶滿意度調查
• 在線實驗：AB測試：AB測試是一種很常用的在線評測算法的實驗方法。它通過一定的規則將用戶隨機分成幾組，
• 並對不同組的用戶采用不同的算法，然後通過統計不同組用戶的各種不同的評測指標比較不同算
• 法，比如可以統計不同組用戶的點擊率，通過點擊率比較不同算法的性能。

• 用戶滿意度
• 預測準確度：預測準確度度量一個推薦系統或者推薦算法預測用戶行為的能力。這個指標是最重要的推薦系統離線評測指標
• 評分預測： 均方根誤差 RMSE 平均絕對誤差MAE
• TopN推薦：網站在提供推薦服務時，一般是給用戶一個個性化的推薦列表，這種推薦叫做TopN推薦。TopN推薦的預測準確率一般通過準確率（precision）/召回率（recall）度量。
• 覆蓋率：覆蓋率（coverage）描述一個推薦系統對物品長尾的發掘能力。覆蓋率有不同的定義方法，最簡單的定義為推薦系統能夠推薦出來的物品占總物品集合的比例。
• 信息熵度量：這裏p(i)是物品i的流行度除以所有物品流行度之和。
• 

• 基尼系數度量: ij是按照物品流行度p()從小到大排序的物品列表中第j個物品
• 
• 多樣性：，推薦列表需要能夠覆蓋用戶不同的興趣領域，即推薦結果需要具有多樣性。
• 新穎性：新穎的推薦是指給用戶推薦那些他們以前沒有聽說過的物品。
• 驚喜度：，如果推薦結果和用戶的歷史興趣不相似，但卻讓用戶覺得滿意，那麽就可以說推薦結果的驚喜度很高
• 信任度：讓用戶對推薦結果產生信任是非常重要的。同樣的推薦結果，以讓用戶信任的方式推薦給用戶就更能讓用戶產生購買欲，而以類似廣告形式的方法推薦給用戶就可能很難讓用戶產生購買的意願。
• 實時性
• 健壯性：而健壯性（即robust,魯棒性）指標衡量了一個推薦系統抗擊作弊的能力。
• 商業目標：，網站評測推薦系統更加註重網站的商業目標是否達成，而商業目標和網站的盈利模式是息息相關的。

• 用戶維度 主要包括用戶的人口統計學信息、活躍度以及是不是新用戶等。
• 物品維度 包括物品的屬性信息、流行度、平均分以及是不是新加入的物品等。
• 時間維度 包括季節，是工作日還是周末，是白天還是晚上等。

用戶行為數據

• 用戶顯性反饋數據：顯性反饋行為包括用戶明確表示對物品喜好的行為。主要方式就是評分和喜歡/不喜歡。
• 用戶隱性反饋數據：隱性反饋行為指的是那些不能明確反應用戶喜好的行為。最具代表性的隱性反饋行為就是頁面瀏覽行為。

• 基於鄰域的方法（neighborhood-based）
• 隱語義模型（latent factor model）
• 基於圖的隨機遊走算法（random walk on graph）

• 基於用戶的協同過濾算法 這種算法給用戶推薦和他興趣相似的其他用戶喜歡的物品。
• 基於物品的協同過濾算法 這種算法給用戶推薦和他之前喜歡的物品相似的物品。

• (1) 找到和目標用戶興趣相似的用戶集合。（相似性計算，基於距離）
• (2) 找到這個集合中的用戶喜歡的，且目標用戶沒有聽說過的物品推薦給目標用戶

• (1) 計算物品之間的相似度。
• (2) 根據物品的相似度和用戶的歷史行為給用戶生成推薦列表。
• 共現的概率

隱語義模型

• 對於一個用戶，用他所有沒有過行為的物品作為負樣本。
• 對於一個用戶，從他沒有過行為的物品中均勻采樣出一些物品作為負樣本。
• 對於一個用戶，從他沒有過行為的物品中采樣出一些物品作為負樣本，但采樣時，保證每個用戶的正負樣本數目相當。
• 對於一個用戶，從他沒有過行為的物品中采樣出一些物品作為負樣本，但采樣時，偏重采樣不熱門的物品。

• 對每個用戶，要保證正負樣本的平衡（數目相似）。
• 對每個用戶采樣負樣本時，要選取那些很熱門，而用戶卻沒有行為的物品。

• 理論基礎 LFM具有比較好的理論基礎，它是一種學習方法，通過優化一個設定的指標建立最優的模型。基於鄰域的方法更多的是一種基於統計的方法，並沒有學習過程。
• 離線計算的空間復雜度 ：LFM大量節省了訓練過程中的內存
• 離線計算的時間復雜度：在一般情況下，LFM的時間復雜度要稍微高於UserCF和ItemCF，這主要是因為該算法需要多次叠代。但總體上，這兩種算法在時間復雜度上沒有質的差別。
• 在線實時推薦： UserCF和ItemCF在線服務算法需要將相關表緩存在內存中，然後可以在線進行實時的預測。
• 推薦解釋： ItemCF算法支持很好的推薦解釋，它可以利用用戶的歷史行為解釋推薦結果。但LFM無法提供這樣的解釋，它計算出的隱類雖然在語義上確實代表了一類興趣和物品，卻很難用自然語言描述並生成解釋展現給用戶。

推薦系統冷啟動問題

• 用戶冷啟動
• 物品冷啟動
• 系統冷啟動

• 人口統計學信息 包括用戶的年齡、性別、職業、民族、學歷和居住地。
• 用戶興趣的描述 有一些網站會讓用戶用文字描述他們的興趣。
• 從其他網站導入的用戶站外行為數據 比如用戶通過豆瓣、新浪微博的賬號登錄，就可以在得到用戶同意的情況下獲取用戶在豆瓣或者新浪微博的一些行為數據和社交網絡數據。

• 比較熱門
• 具有代表性和區分性
• 啟動物品集合需要有多樣性

利用用戶標簽數據

## 利用上下文信息

• 用戶興趣是變化的
• 物品也是有生命周期的
• 季節效應

• 數據集每天獨立用戶數的增長情況
• 系統的物品變化情況 ：網站新聞增長情況，商品增長情況等
• 用戶訪問情況: 用戶的平均活躍天數

• 最近熱門推薦
• 時間上下文itemCF算法： 最常用的是基於物品的個性化推薦系統
• 物品相似度
• 在線推薦 ： 用戶近期行為更關鍵
• 時間上下文相關的userCF算法
• 用戶興趣相似度
• 相似興趣用戶最近行為
• 地點上下文

推薦系統實踐