深度學習在推薦系統的應用(二)
AFM模型(Attentional Factorization Machine)
- 模型原始論文
Attentional Factorization Machines:Learning the Weight of Feature Interactions via Attention Networks
- 模型架構
- 模型原理
\[ ?_{AFM}(x)=ω_0+∑_{i=1}^{n}ω_{i}x_{i}+p^T∑^{n}_{i=1}∑^{n}_{j=i+1}a_{ij}(v_i⊙v_j)x_ix_j \]
模型特點
相對FM,AFM引入attention-based pooling,其學習出來的參數值用於判斷不同特征之間交互的重要性。模型案例
https://github.com/hexiangnan/attentional_factorization_machine
推薦系統遇上深度學習(八)--AFM模型理論和實踐
FwFM模型(Field-weighted Factorization Machines)
- 模型原始論文
Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising 模型架構
模型原理
\[ Φ_{FwFMs}((w,v), x) = w_{0} +∑_{i=1}^{m}x_iw_i +∑_{i=1}^{m}∑_{j=i+1}^{m}x_ix_j?v_i,v_j?r_{F (i),F (j)} \]
模型特點
相對FM,AFM引入attention-based pooling,其學習出來的參數值用於判斷不同特征之間交互的重要性。模型案例
https://github.com/hexiangnan/attentional_factorization_machine
推薦系統遇上深度學習(八)--AFM模型理論和實踐
FwFM模型(Field-weighted Factorization Machines)
- 模型原始論文
Field-weighted Factorization Machines for Click-Through Rate
Prediction in Display Advertising 模型架構
模型原理
\[ Φ_{FwFMs}((w,v), x) = w_{0} +∑_{i=1}^{m}x_iw_i +∑_{i=1}^{m}∑_{j=i+1}^{m}x_ix_j?v_i,v_j?r_{F (i),F (j)} \]
模型特點
FwFM是在WWW‘18上由Oath公司提出的點擊率預估模型，針對FFM參數量大的不足提出了改進並在著名的公開數據集Criteo上驗證有效。從模型形式上可以看出FwFM與FM區別僅在於FwFM給每個二階交叉項引入了一個實數weight:
\[ r_{F (i),F (j)} \]
總計多出m*(m-1)/2個參數,m是field個數。模型案例
Tongzhenguo/Python-Project
xDeepFM(極深因子分解機模型)
- 模型原始論文
xDeepFM: Combining Explicit and Implicit Feature Interactions for
Recommender Systems
模型架構
模型原理
1.CIN結構:
2.矩陣\[??^??\]中的第?行的計算公式如下：
\[
X_{h,*}^k = \sum_{i=1}^{H_{k-1}}\sum_{j=1}^m{W_{ij}^{k,h}(X_{i,*}^{k-1} \circ X_{j,*}^0)}
\]
- 模型特點
微軟亞洲研究院社會計算組提出了一種極深因子分解機模型（xDeepFM），不僅能同時以顯式和隱式的方式自動學習高階的特征交互，使特征交互發生在向量級，還兼具記憶與泛化的學習能力。
- 模型案例
推薦系統遇上深度學習(二十二)--DeepFM升級版XDeepFM模型強勢來襲！
特征交互：一種極深因子分解機模型（xDeepFM）
Leavingseason/xDeepFM
深度學習在推薦系統的應用(二)