1. 程式人生 > >一個簡單的基於內容的推薦演算法

一個簡單的基於內容的推薦演算法

作者:EXLsunshine     原文連結: http://dataunion.org/?p=7542   

最近閒下來又開始繼續折騰推薦系統了,宣告一下,本文只是介紹一下最基礎的基於內容的推薦系統(Content-based recommender system)的工作原理,其實基於內容的推薦系統也分三六九等Orz,這裡只是簡單的較少一下最原始的、最基本的工作流程。

基於內容的推薦演算法思路很簡單,它的原理大概分為3步:

1、為每個物品(Item)構建一個物品的屬性資料(Item Profile)

2、為每個使用者(User)構建一個使用者的喜好資料(User Profile)

3、計算使用者喜好資料與物品屬性資料的相似度,相似度高意味著使用者可能喜歡這個物品,相似度低往往意味著使用者不喜歡這個物品。

選擇一個想要推薦的使用者“U”,針對使用者U遍歷一遍物品集合,計算出每個物品與使用者U的相似度,選出相似度最高的k個物品,將他們推薦給使用者U——大功告成!

下面將詳細介紹一下Item Profiles和User Profiles。

1、Item Profiles

說到基於內容的推薦系統,就不得不提到“Item Profiles”,它是整個系統中最關鍵的內容之一,這裡的“Item”是指被推薦的物品,而“Item Profiles”是指被推薦物品的詳細屬性。

什麼是“Item”?:舉例來講對,於一個電影推薦系統來講,它的目標就是向用戶推薦他們可能喜歡的電影,這其中:電影就相當於“Item”;

什麼是“Item Profiles”?演員名單、導演名單、影片型別、時長、上映日期、票房等等,這些電影的屬性就是所謂“Item Profiles”了。

2、Representing Item Profiles

還是拿電影推薦系統來舉例吧,為了簡單起見,我們假設“Item Profiles”中只包含演員名單。這樣一來,《黑客帝國》的Item Profiles就可以這樣表示了:{基努·裡維斯、勞倫斯·菲什伯恩、凱莉·安·摩絲、雨果·維}(為了方便,我們假設《黑客帝國》中只有這4位演員)。然而這種自然描述的Item Profiles不能直接用在程式碼裡啊,我們需要的是乾貨!所以還要把自然描述的Item Profiles對映成程式能夠讀懂的資料結構,所以需要進行一個對映——將自然語言描述的Item Profiles轉換成0,1矩陣,方法是這樣的:

2.1、首先構造一個1xn維的矩陣,n表示全球主要的影星數量。初始化這個1xn維的矩陣,將所有元素設定為0,這樣我們就會得到一個類似這樣子的行向量:[0,0,0,0,0,0,……………………….,0] ,其中一共有n個0。

2.2、做一個假設:我們假設這個行向量的第0個元素代表成龍、第1個元素代表基努·裡維斯、第2個元素代表勞倫斯·菲什伯恩、第3個元素代表湯姆克魯斯、第4、5個元素分別代表凱莉·安·摩絲和雨果·維、剩下的代表誰無所謂了,由他去吧!

2.3、將自然語言描述的Item Profiles對映到這個1xn維的矩陣中,對映的方法很直觀,如果影片M中有演員A1,A2和A3,那麼M的行向量中,A1、A2、A3對應的元素分別置為1,表示影片M中出現的演員有A1、A2、A3。

舉例來講,按照第2步中的假設的話,那麼影片《黑客帝國》的0,1矩陣就是[0,1,1,0,1,1,0,0,0,0,0,0……………,0]。不難看出,由於矩陣的第0個元素代表成龍,而成龍並不是《黑客帝國》中的演員,所以矩陣中第0個元素是0,表示成龍不是《黑客帝國》中的演員;同樣的,由於矩陣的第1個元素代表基努·裡維斯,而基努·裡維斯是《黑客帝國》中的演員,所以矩陣中第1個元素是1,表示基努·裡維斯是《黑客帝國》中的演員。同理,矩陣中第2,4,5個元素是1,分別表示勞倫斯·菲什伯恩、凱莉·安·摩絲、雨果·維是《黑客帝國》中的演員。剩下的元素就都是0了。

3、User Profiles

到目前為止,我們已經為Item進行建模了,模型就是“Item Profiles”,也就是那個1xn維的0,1矩陣。但是這還不夠,我們還需要為使用者進行建模,所謂的對使用者建模,就是構造“User Profiles”,而這個“User Profiles”就相當於使用者的偏好。在電影推薦系統這個例子中,使用者U的偏好可以表示為對各個演員的喜好程度,舉例來講:

假設我們有一個評分矩陣,其中包含2個使用者和3個電影:

演算法

矩陣的含義是:

使用者Alice對《尖峰時刻》 《紅番區》 《黑客帝國》的評分分別為4、5、3分(滿分5分)

使用者Bob對 《尖峰時刻》 《紅番區》 《黑客帝國》的評分分別為1、1、4分(滿分5分,空白的表格表示Bob尚未對該電影打分)

經過分析,可以發現Alice相對來講更喜歡《尖峰時刻》和《紅番區》,而成龍是這兩部電影的共同點,由此我們很自然的猜想到:Alice可能喜歡成龍的電影!利用這一個訊息,就可以開始為Alice構建她的“User Profiles”了,方法如下:

3.1、算出Alice所有打分的平均分,在這個例子中Alice的平均分Avg =(4+5+3)/2 = 4

3.2、利用公式:公式算出Alice對成龍的喜好程度。其中Xi是所有涉及到成龍的、而且是Alice評過分的電影,Avg就是3.1中算出來的平均分,n就是所有涉及到成龍的、而且是Alice評過分的電影的數量。在這個例子中公式應該等於((4 – 4) + (5 – 4)) / 2 = 0.5,也就是說,Alice對成龍的喜好程度可以用0.5這個數值來反應。

3.3、類似於Item Profiles,User Profiles也用到了一個1xn維的矩陣,與Item Profiles的矩陣不同的是,User Profiles中矩陣的元素不再是0,1,而是由3.2計算得來的對每個演員的喜好程度,所以最終Alice的矩陣可以表示為[0.5,x,y,z,………..xx,oo],回想一下,在2.2中我們已經做出了假設:矩陣的第0個元素代表成龍,所以這裡的第0個元素是0.5,表示Alice對成龍的喜好程度是0.5。同理,可以算出Alice對其他演員的喜好程度。

4、計算推薦依據

利用餘弦相似度的公式來計算給定的User “U”和給定的Item “I”之間的距離。餘弦相似度的值越大說明U越有可能喜歡I。

餘弦相似度的具體計算方法如下:

公式

在電影推薦系統的例子中:

Ua表示,使用者U對演員a的喜好值(即User Profiles矩陣中,演員a對應的值)

Ia表示,電影I是否包含演員a(即Item Profiles矩陣中,演員a對應的值)

5、開始推薦!

我們可以按照4中介紹的方法來遍歷整個影片庫,計算Alice與每個電影的相似度,選擇相似度最高的前k個電影,推薦給Alice,大功告成!