1，論文相關資訊

Paper：Matrix completion by deep matrix factorization
Journal：Neural Networks
Year：2018

2，研究動機

（1）傳統的矩陣填補模型（matrix completion）都是線性模型，不能應用於非線性的資料，而現實世界中，大部分資料都具有非線性結構。傳統模型都是線性的原因，文中是這樣解釋的：
The low-rank assumption indicates that the data from linear latent variable models, in which the latent varibles are much fewer than the oberserved variables（注：針對文中這樣的解釋，我不太理解，為什麼基於低秩的假設就表明資料是來自線性的隱變數模型，有哪位大神讀過該篇論文的話，可以在評論區給出自己的見解，不勝感激）
（2）現有的非線性矩陣填補模型（matrix completion）對非線性的操作有限。例如，《Goal-Directed Inductive Matrix Completion》只將非線性操作應用到side information（輔助資訊）上。
（3）現有的非線性矩陣填補模型的應用有限。例如，《Recognizing emotions from abstract paintings using non-linear matrix completion》中的模型只能應用於分類任務，而不能應用於矩陣填補常見的問題，例如，影象修復、協同過濾。

3，DMF模型構建

（1）傳統矩陣填補模型，以矩陣分解（MF）為例，如下：

X=PZ$$X=PZ$$
模型中假設X是低秩的，這就意味著該模型是線性模型，所做的變換X=PZ$X=PZ$為線性變換
（2）以（1）為基礎可構建具有非線性變換的矩陣填補模型，X=f(Z)$X=f(Z)$。其中f()$f()$表示非線性對映。這個思想也是構建本文DMF模型的核心思想
（3）以（1）（2）為前提可初步構建具有非線性結構的矩陣填補模型，如下：

其中，λ,β$\lambda ,\beta$是正則項引數，也就是超參。⊙$\odot$表示Hadamard product（哈達馬積，那麼什麼是哈達馬積？這裡簡單說明一下，哈達馬積表示兩個同緯數的矩陣對應元素相乘，得到的還是和之前維數相同的矩陣）。

Ψ$\mathrm{\Psi }$為：
Ψ={1,0,if(i,j)∈Ωelse$$\mathrm{\Psi }=\{\begin{array}{ll}1,& if(i,j)\in \mathrm{\Omega }\\ 0,& else\end{array}$$
（4）在（3）中沒有具體說明非線性對映f()$f()$到底是啥。然而確定（3）中非線性對映f()$f()$的過程就是DMF模型的構建過程。
大家如果搞過神經網路，應該會知道神經網路擬合各種函式的強大能力。有這樣的預備知識，咱們就可以順理成章的用神經網路模型去擬合模型中的非線性映射了，那這就是本文的DMF模型了。
論文中，針對不同的應用，作者建立了具有不同隱藏層個數的DMF模型，分為單層神經網路模型和多層神經網路模型。

• 單層神經網路模型：

其中g(.)$g(.)$表示啟用函式，常用的啟用函式有sigmoid函式、tangent函式。啟用函式的選擇，是根據模型輸出資料的範圍確定的。

• 多層神經網路模型：
  
  其中，
  K$K$表示隱藏層的層數

（5）通過單層模型或多層模型的訓練可以得到非線性對映g(.)$g(.)$以及引數W,b$W,b$。這樣就可以填補初始矩陣中的空白項了，計算公式如下：

4，DMF模型優化

採用了兩種非線性的優化方法：BFGS、以及iRprop+。BFGS適用於測試資料矩陣較小的情況，iRprop+則適用於測試資料矩陣較大的情況。這兩種優化方法不在這裡闡述了，有興趣的可以檢視相應的資料，在參考資料中，我也給出了兩種優化方法相對應的論文引用。

5，實驗

（1）BaseLine方法

• MF：基本的矩陣分解模型
• NNM：最小化核函式
• TNNM：最小化截斷核範數
• AECF：自編碼器協同過濾模型
• LRFD：改進後的矩陣分解模型

（2）實驗一：Matrix completion on a toy example of nonlinear data

（3）實驗二：Single-image inpainting（單個RGB影象修復）

資料集為5張RGB圖片：

（4）實驗三：Group-image inpainting（一組影象修復）

資料集為MNIST dataset（手寫字資料集）：

（5）實驗四：Collabrative filtering（協同過濾）

資料集為如下兩個：
- Jester-joke dataset-1
- MovieLens 100k

6，評價指標

歸一化平均絕對誤差NMAE（normalizedmeanabsolute error），公式如下：

7，參考資料

[1]Alameda-Pineda X, Ricci E, Yan Y, et al. Recognizing emotions from abstract paintings using non-linear matrix completion[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 5240-5248.
[2]Fan J, Cheng J. Matrix completion by deep matrix factorization[J]. Neural Networks, 2018, 98: 34-41.
[3]Si S, Chiang K Y, Hsieh C J, et al. Goal-directed inductive matrix completion[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2016: 1165-1174.