Kim D, Park C, Oh J, et al. Convolutional matrix factorization for document context-aware recommendation[C]//Proceedings of the 10th ACM Conference on Recommender Systems. ACM, 2016: 233-240.

ABSTRACT

使用者到專案評分資料的稀疏性是推薦系統質量惡化的主要因素之一。為了處理稀疏性問題，一些推薦技術考慮輔助資訊來提高評分預測精度。特別地，當評分資料稀疏時，基於文件建模的方法通過利用文字資料（例如評論，摘要或概要）來提高準確性。然而，由於詞袋模型的固有限制，它們在有效利用文件的上下文資訊方面存在困難，只能對文件淺層理解。本文提出了一種新穎的上下文感知推薦模型，將卷積神經網路（CNN）整合到概率矩陣分解（PMF）中的卷積矩陣分解（ConvMF）。ConvMF捕獲文件的上下文資訊，並進一步提高評分預測精度。我們在三個真實世界的資料集的測試顯示，ConvMF顯著優於現有先進的推薦模型，即使評分資料極為稀少。我們還展示了ConvMF成功地捕獲了文件中單詞的微妙上下文差異。我們的實實驗和資料集可在

http://dm.postech.ac.kr/ConvMF獲得。

1. INTRODUCTION

電子商務服務中的使用者和專案數量的爆炸式增長增加了使用者對專案評分資料的稀疏性。最終，這種稀疏性降低了傳統協同過濾技術的評分預測精度。為了提高準確性，一些推薦技術提出了不僅要考慮評分資訊，還考慮使用者的人口統計資訊、社會網路和專案描述檔案等的輔助資訊。

最近，研究者們已經提出了基於文件建模方法（如LDA主題模型和堆疊去噪自動編碼器（SDAE））的方法來利用專案描述文件如評論，摘要或概要。具體來說，Wang等人提出的協作主題迴歸（CTR），其結合了主題建模（LDA）和協同過濾的概率方法。提出了不同的CTR，將LDA整合到協同過濾中，以不同的整合方法分析專案描述文件。 最近，Wang等人提出將SDAE整合到概率矩陣分解（PMF）中的協同深度學習（CDL），從而在評分預測精度方面產生更準確的潛在模型。

然而，現有的整合模型並不能完全捕獲文件資訊，因為它們使用的詞袋模型忽略諸如周圍單詞和單詞順序的文件的上下文資訊。 例如，假設在檔案中給出了以下兩個句子：“人們相信這個人”，“人們最終背叛了他的信任”，由於LDA和SDAE認為該檔案是一個不可忽略的單詞的集合，所以他們無法區分每一個事件 的“信任”。 確切地說，雖然每個“信任”的發生似乎都具有幾乎相同的含義，但是這些詞之間存在微妙的句法差異 - 一個動詞和一個名詞。 文件中的這種微妙的差異對於更深入地理解文件也是一個非常重要的因素，並且進一步的這種理解有助於提高評分預測精度。

為了解決上述問題，我們採用卷積神經網路（CNN），它是最先進的機器學習方法，在諸如計算機視覺，自然語言處理（NLP）和資訊檢索等各個領域表現出了高效能。 CNN通過建模元件有效地捕獲影象或文件的區域性特徵，這些模型元件包括區域性感知野，共享權重和下采樣。因此，CNN的使用有助於更深入地瞭解文件資訊，並且產生比LDA和SDAE更好的潛在模型，特別是對於由於缺乏評分而訴諸於其描述文件的專案。 此外，CNN能夠利用諸如Glove等預先訓練的詞嵌入模型來更深入地瞭解專案描述文件。 請注意，LDA和SDAE不能利用預先訓練的詞嵌入模型，因為它們採用了詞袋模型。

然而，現有的CNN不適合推薦任務，因為卷機網路的目標與推薦目標不同。 具體來說，常規CNN主要解決分類任務，即預測單詞，短語或文件的標籤。 相反，推薦的目標被認為是一個迴歸任務，旨在準確地近似使用者對專案的評分。 因此，現有的CNN不能直接適用於我們的推薦任務。

為了解決這個技術問題，我們提出了一種文件上下文環境設定推薦模型，卷積矩陣因式分解（ConvMF），通過利用卷積神經網路（CNN）捕獲專案描述文件的上下文資訊，進一步提高了評分預測精度。ConvMF正是將CNN無縫整合到PMF中，而PMF通常用於推薦任務。因此，綜合模式遵循推薦目標，最終有效地利用協作資訊和上下文資訊。因此，即使評分資料非常稀疏，ConvMF也能準確地預測未知的評分。

為了證明ConvMF的有效性，我們對三種不同的現實世界資料集進行ConvMF的評估。我們對評分資料集的各種稀疏性的實驗廣泛證明，ConvMF顯著優於現有的先進的模型。 ConvMF的優越性驗證了即使評分資料非常稀疏，ConvMF能夠生成有效反映專案描述文件的上下文資訊的專案潛在模型。我們還定性證明ConvMF確實在文件中捕捉到一個單詞的微妙的語境差異。此外，我們研究預先訓練的詞嵌入模型是否有助於提高ConvMF的評分預測精度。除了實驗程式碼和資料集。詳細的實驗結果也可在http://dm.postech.ac.kr/ConvMF獲得。

我們的貢獻總結如下。

• 我們解決了基於詞袋模型方法的侷限性，並開發了一種新穎的文件上下文感知推薦模型（ConvMF）。
• 為了利用評分和專案描述文件，我們以概率的角度將CNN無縫整合到PMF中。
• 我們廣泛地展示了ConvMF在三個現實世界資料集上與現有的先進模型在定量和定性上結果的優勢。

本文的其餘部分組織如下。 第2節簡要回顧了最具代表性的協同過濾技術和CNN模型。 第3節介紹了對ConvMF的概述，介紹了ConvMF的CNN架構，並介紹瞭如何優化ConvMF。 第4節通過實驗評估ConvMF並討論評估結果。 第5節總結了我們的貢獻，並提供未來的工作。

2. PRELIMINARY

在本節中，我們簡要回顧了矩陣分解（MF）（最流行的協同過濾技術）和卷積神經網路（CNN）。

2.1 Matrix Factorization

傳統的協同過濾技術被分為兩類[5]：基於記憶體的方法（例如最近鄰域）和基於模型的方法（例如潛在因子模型）。 一般來說，基於模型的方法已知可以產生更準確的推薦結果。 因此，在本節中，我們描述了MF，這是最流行的基於模型的方法。

MF的目標是在共享隱空間中尋找使用者和專案的潛在模型，共享隱空間中使用者專案關係的強度（即使用者對專案的評分）由內部產品計算。假設我們有N個使用者，M個專案和一個使用者專案評級矩陣R∈RN∗M。在MF中，使用者 i 和專案 j 的潛在模型被表示為k維模型ui∈Rk 和vj∈Rk。 使用者 i 對專案 j 的評分rij由使用者i和專案 j 的對應潛在模型的內積（即rij=uTivj）近似。訓練隱模型的一般方法是將損失函式L最小化，該損失函式L包括實際評分與預測評分之間的平方和，並且加上試圖避免過擬合問題的L2正則化項如下：

L=∑Ni∑MjIij(rij−uTivj)2+λu∑Ni∥ui∥2+λv∑Mj∥vj∥2

其中Iij 是指示函式當用戶i 給專案j 打分時為1，其他為0。

2.2 Convolutional Neural Network

卷積神經網路（CNN）是具有以下元件的前饋神經網路的變體：1）用於產生區域性特徵的卷積層，2）通過僅選擇幾個典型的區域性特徵（即，通過啟用功能具有最高分數的特徵）來表示資料作為更簡潔表示的池化（或子取樣）層 ，區域性特徵來自上一層，其通常是卷積層。

雖然CNN最初是為計算機視覺開發的，但是CNN的關鍵思想已經積極應用於資訊檢索和NLP，如搜尋查詢檢索，句子建模和分類和其他傳統的NLP任務。雖然針對NLP任務需要對CNN架構進行大量修改，但最終都有助於提高各種NLP任務的效能。

然而，CNN尚未被積極應用於推薦系統領域。據我們所知，van den Oord等人首先將CNN應用於音樂推薦，通過聲學分析觀點利用CNN分析了歌曲，並提出了一種基於聲學CNN獲得的專案潛在模型來預測評分的模型。然而，他們的CNN模型，專為聲訊號處理而設計，不適合處理文件。文件和聲學訊號對周圍特徵的質量有固有的差異。一定時間的訊號固有地類似於其周圍的訊號，即具有輕微時間差的訊號，而文件中某個位置處的一個字與周圍的字有很大的語義差異。周圍特徵之間的這種相似度的差異影響區域性特徵的質量，最終需要不同的CNN架構。此外，該模型還沒有充分反映協同資訊。具體來說，專案潛在模型主要由通過CNN進行音訊訊號分析的結果而不是協同資訊決定。因此，總體推薦的效能甚至沒有達到加權矩陣分解（WMF），WMF這是處理隱式反饋資料集的常規基於MF的協同過濾技術之一。

3. CONVOLUTIONAL MATRIX FACTORIZATION

在本節中，我們通過三個步驟解釋了提出的模型—卷積矩陣因式分解（ConvMF）的細節：1）介紹ConvMF的概率模型，並描述橋接PMF和CNN的關鍵思想，以便利用評分和專案說明文件。2）我們解釋CNN的詳細架構，通過分析專案描述文件生成文件潛在模型。3）最後，我們描述如何優化ConvMF的潛在變數。

3.1 Probabilistic Model of ConvMF

圖1顯示了ConvMF的概率模型的概述，它將CNN整合到PMF中。 假設我們有N個使用者和M個專案，並且觀察到的評分由R∈RM∗N 的矩陣表示。然後，我們的目標是找到其乘積（UTV）重建評級矩陣R的使用者和專案潛在模型（U∈Rk∗N和V∈Rk∗M）。從概率觀點上看，觀察到的評分條件分佈是由下式給出的：

p(R|U,V,σ2)=∏Ni∏MjN(rij|uTivj,σ2)Iij

其中N（x|μ,σ2）是具有平均值μ 和方差σ2的高斯正態分佈的概率密度函式，Iij是2.1節中提到的指標函式。

作為使用者潛在模型的生成模型，我們將傳統的先驗，方差為σ2U 的零均值球面高斯置於使用者潛在模型上。

p(U|σ2U)=∏NiN(ui|0,σ2UI)

然而，與常規PMF中專案潛在模型的概率模型不同，我們假設專案潛在模型由三個變數生成：1）CNN中的內部權重W，2）表示專案 j 的文件的 Xj，以及3）ε變數 作為高斯噪聲，使我們能夠進一步優化評級的專案潛在模型。 因此，最終專案潛在模型通過以下等式獲得。

vj=cnn(W,Xj)+ϵj

ϵj∼N(0,σ2VI)

對於W中的每個權重wk，我們使用先前最常用的零均值球面高斯先驗：

p(W|