推薦系統的評價指標
阿新 • • 發佈:2019-01-10
大部分的推薦系統都採用推薦預測的準確度衡量推薦演算法的優劣,目前使用較多的準確度指標有預測準確度、分類準確度和排序準確度,輔助評價指標如流行性、多樣性等。
預測準確度
主要思想:將推薦系統產生的預測評分與使用者真實評分進行相似度匹配。
經典方法:平均絕對誤差(MAE)
分類準確度
用於判斷一個使用者對推薦系統的物件是否滿意的比例,不關心演算法評分正確與否。
常用指標:準確率、召回率、F指標。
準確率:反映使用者喜歡被推薦物品的程度
召回率:反映推薦物品覆蓋使用者喜歡物品的程度。
比如,我們給使用者推薦5個物品REC{a,s,d,f,g},使用者實際喜歡的是T{c,d,v,f},那麼推薦的評測指標就是,推薦的物品是不是使用者喜歡的?所佔比例是多少?
REC與T的交集是{d,f},佔所推薦5個物品的40%,佔用戶喜歡物品的50%,因此準確率就是40%,召回率就是50%。
一般推薦的東西越多,越可能覆蓋使用者喜歡的物品,召回率會提高,但犧牲了準確率,因此要平衡二者的關係,如F準則.
在搜尋方面,要保證召回率,提高準確率;在反垃圾、疾病監測方面,要保證準確率,提高召回率。
F準則
排列準確度
用來衡量執行推薦演算法後,預測系統生成的物件推薦表滿足使用者對資源物件實際排序的能力,
適用場合:需要評價給目標使用者推薦一個排序列表的系統
度量方法:平均排序分,排序分越小說明系統趨向於把使用者喜歡的產品排在前面。平均排序分越小越精確。