目錄

• 概
• 主要內容

Juan Y., Zhuang Y., Chin W. and Lin C. Field-aware factorization machines for CTR prediction. In ACM Conference on Recommender Systems (RecSys), 2016.

概

FM 通過

\[\sum_{j_1=1}^n \sum_{j_2 = j_1 + 1}^n \bm{w}_{j_1}^T \bm{w}_{j_2} x_{j_1}x_{j_2} \]

來構建特徵間的互動關係, 同時避免了資料稀疏的問題. 本文所提出的 FFM 則是在基礎上上引入了 field 的概念.

主要內容

Clicked	Publisher (P)	Advertiser (A)	Gender (G)
Yes	ESPN	Nike	Male

如上表所示, 對於 FM 而言, 其通過如下方式進行特徵互動

\[\bm{w}_{\text{ESPN}}^T \bm{w}_{\text{NIKE}} +\bm{w}_{\text{ESPN}}^T \bm{w}_{\text{Male}} +\bm{w}_{\text{NIKE}}^T \bm{w}_{\text{Male}}, \]

作者認為, 令諸如出版社既要和廣告商又要和性別特徵進行互動, 僅依賴一個特徵\(\bm{w}_{\text{ESPN}}\)

是不夠的, 而是應該:

\[\bm{w}_{\text{ESPN, A}}^T \bm{w}_{\text{NIKE, P}} +\bm{w}_{\text{ESPN, G}}^T \bm{w}_{\text{Male, P}} +\bm{w}_{\text{NIKE, G}}^T \bm{w}_{\text{Male, A}}. \]

一般地, 可以表示為

\[\phi_{\text{FFM}}(\bm{w}, \bm{x}) = \sum_{j_1=1}^n \sum_{j_2 = j_1 + 1}^n \bm{w}_{j_1, f_2}^T \bm{w}_{j_2, f_1} x_{j_1} x_{j_2}. \]

即兩個特徵\(x_{j_1}, x_{j_2}\)

互動時, 採用特定的域特徵.

因為分割了很多域, 所以通常\(\bm{w}_{j, f}\)會比 FM 中 \(\bm{w}\)的維度小得多.

最後通過如下損失進行優化:

\[\min_{\bm{w}} \frac{\lambda}{2} \|\bm{w}\|_2^2 + \sum_{i=1}^m \log (1 + \exp (- y_i \phi_{\text{FFM}}(\bm{w}, \bm{x}_i))). \]

注: 關於如何確定域, 作者討論了三種情況: 類別, 數值 以及諸如語句這種單一field的型別. 感覺這個域就是一個特徵的總稱吶.