從SVD、SVD++到因子分解機

什麼是因子分解？在本文的含義表示：矩陣分解、因子分解機等等。而什麼是矩陣分解、因子分解機？看完這篇文章你將會有答案。

傳統推薦系統中的矩陣分解

在很多情況下，資料的一小段攜帶了資料集中的大部分資訊，其他資訊則要麼是噪聲，要麼就是毫不相關的資訊。矩陣分解可以將原始矩陣表示成新的易於處理的形式，這種新形式是兩個或多個矩陣的乘積。

假設存在以下user和item的資料矩陣，這是一個極其稀疏的矩陣，這裡把這個評分矩陣記為R，其中的元素表示user對item的打分。“？”表示未知的，也就是要你去預測的，現在問題來了：如何去預測未知的評分值呢？可以證明，對任意一個矩陣A，都有它的滿秩分解：

user\item	1	2	3	…
1	5	4	4.5	…
2	?	4.5	?	…
3	4.5	?	4.4	…
…	…	…	…

有方法證明，對任意一個矩陣A，都有它的滿秩分解。

那麼剛才的評分矩陣R也存在這樣一個分解，所以可以用兩個矩陣P和Q的乘積來表示評分矩陣R：

RU∗I=PU∗KQK∗I

上圖中的U表示使用者數，I表示商品數。然後就是利用R中的已知評分訓練P和Q使得P和Q相乘的結果最好地擬合已知的評分，那麼未知的評分也就可以用P的某一行乘上Q的某一列得到了：

rˆui=qiTpu

這是預測使用者u對商品i的評分，它等於P矩陣的第u行乘上Q矩陣的第i列。這個是最基本的SVD演算法。

舉例：

具體來說，對於一個給定的使用者行為資料集（資料集包含的是所有的user、item，以及每個user有過行為的item列表），使用矩陣分解建模後，我們可以得到如下模型：

R矩陣是user-item矩陣，Rij表示的是user i 對item j的興趣度，這正是我們需要的值。P是user-class矩陣，Pij表示的是user i對class j的興趣度；Q是class-item矩陣，矩陣值Qij表示的是item j在class i中的權重，權重越高越能作為該類的代表。\(q_i^T!p_u\)表示使用者u和專案i的相互作用，也就是使用者對專案表現出的感興趣的程度。

總結：

矩陣分解把一物多類、多維度的類別、類別權重這幾類問題都解決了！

SVD:加入預測基準的矩陣分解

問題：

以上的矩陣分解只考慮到使用者對各類別的偏好、物品在各類別上的權重。卻並沒有考慮到，使用者寬鬆度（使用者總是傾向給更低或更高分數）、電影口碑對使用者評分結果的影響。

Baseline Predictors：

平均評分記作全域性平均數u，使用向量bi表示電影i的評分相對於平均評分的偏差，向量bu表示使用者u做出的評分相對於平均評分的偏差。

則預測分數值：

rˆui=u+bi+bu+qiTpu

舉例：

預測使用者Joe對Titannic電影的評價。設，電影平均打分μ=3.7；使用者Joe挑剔，打分一般比平均分低0.3；Titannic電影口碑好，比一般要高0.5分；Joe對Titannnic的基準預測是：3.7−0.3+0.5=3.9

SVD++:一種加入隱式反饋的SVD模型

隱式反饋

以上只是針對評分矩陣，使用者直接給物品此時推薦打分的稱之為顯示反饋。存在一種隱式反饋，使用者沒有對物品進行過打分評價，但卻有其他隱性的表示使用者對該物品喜好的行為，比如瀏覽、收藏、點贊等行為。

在式中，隱式反饋被作為附加的專案隱因子加入模型中，附加的隱式反饋將每一個專案i與因子向量\({y_i}\in{R^f}\)聯絡起來，用於表示使用者是否對該專案有過打分。

具體模型如下:

rˆui=u+bi+bu+qiT(pu+|R(u)|−1/2∑j∈R(u)yj)

集合中R(u)包含了使用者評價過的專案。在式中，使用者被建模為pu+|R(u)|−1/2∑j∈R(u)yj裡的內容。其中Pu通過使用者的顯式反饋（打分）學習得到；|R(u)|−1/2∑j∈R(u)yj表示使用者的隱式反饋行為：|R(u)|−1/2是相應的特徵權重，通常採用這裡的歸一化項；\({y_i}\)表示隱式特徵向量。

舉例說明如下：

使用者的有兩種隱式反饋行為，一種為租賃歷史，用\({N_1}(u)\)表示，另一種為瀏覽歷史，用\({N_2}(u)\)表示。
那麼SVD++的模型可以寫為：

rˆui=u+bi+bu+qiT(pu+|N1(u)|−1/2∑j∈|N1(u)yj(1)+|N2(u)|−1/2∑j∈|N

從SVD、SVD++到因子分解機

傳統推薦系統中的矩陣分解

舉例：

總結：

SVD:加入預測基準的矩陣分解

問題：

Baseline Predictors：

則預測分數值：

舉例：

SVD++:一種加入隱式反饋的SVD模型

隱式反饋

具體模型如下:

舉例說明如下：

從SVD、SVD++到因子分解機

ml課程：FM因子分解機介紹及相關程式碼

簡單易學的機器學習演算法——因子分解機(Factorization Machine)

因子分解機（libffm+xlearn）

因子分解機(FM) +場感知分解機 (FFM) 入門

因子分解機FM原理及SGD訓練

FM（因子分解機系列）

FM（Factorization Machine，因子分解機）演算法個人理解

推薦系統學習筆記之四 Factorization Machines 因子分解機 + Field-aware Factorization Machine(FFM) 場感知分解機

SVD、SVD++和Asymmetric SVD 以及例項

因子分解機 FM和FFM

萬字長文，詳解推薦系統領域經典模型FM因子分解機

從矩陣（matrix）角度討論PCA（Principal Component Analysis 主成分分析）、SVD（Singular Value Decomposition 奇異值分解）相關原理

奇異值分解(SVD)、主成分分析(PCA)、潛在語義索引(LSI)

Redis 中哨兵sentinel 機制、從宕機及恢復、主庫宕機及恢復解決方案

PCA、SVD和協方差矩陣的關係

Matlab 奇異值、奇異矩陣、svd函式

SVD（奇異值分解）小結

PCA、SVD、譜聚類

機器學習實戰——SVD（奇異值分解）

從SVD、SVD++到因子分解機

傳統推薦系統中的矩陣分解

舉例：

總結：

SVD:加入預測基準的矩陣分解

問題：

Baseline Predictors：

則預測分數值：

舉例：

SVD++:一種加入隱式反饋的SVD模型

隱式反饋

具體模型如下:

舉例說明如下：

相關推薦