技術標籤：推薦演算法也可以很簡單機器學習深度學習tensorflow推薦系統python

目錄

• • 1 介紹
  • 2 原理
  • 3 總結
  • 4 程式碼實戰
  • 寫在最後

1 介紹

FFM（Field-aware Factorization Machine）是 FM 的改進版，將域 (Field-aware) 的概念引入其中。因為作者認為一個特徵在跟不同特徵作互動時，會發揮不同的作用，因此應該具有不同的向量表示。

本文是推薦系統系列文章的第二篇，FFM原理及程式碼的詳細介紹。

2 原理

先回顧一下 FM 演算法原理。公式如下：

一個特徵只對應一個隱向量 v， 與不同特徵特徵互動時都使用這個向量表示。

作者引入 field 的概念，把相同性質的特徵 (經過onehot編碼的類別特徵) 歸於同一個field，同一特徵與屬於不同域的特徵作互動時，具有不同的隱向量表示。

FFM 將隱向量進一步細分，每個特徵具有多個隱向量 (等於 field 的數目)。公式如下：

V i , f j V_{i,f_{j}} Vi,fj​​ 表示特徵 i 與 特徵 j 互動時的隱向量表示，其中 f j f_{j} fj​ 表示第 j 個特徵所屬的 field。

FM與FFM對比:

FM：模型引數量為 1+n+nk，n 為特徵數，k 為隱向量維度。公式可化簡，化簡之後的複雜度為 O ( n k ) O(nk)

FFM：模型引數量為 1+n+n(F-1)k，F 為 field 數。公式不可化簡，複雜度為 O ( n 2 k ) O(n^{2}k) O(n2k)，隨著特徵數 n 平方級增長。

[注]：因為公式無法化簡，FFM訓練複雜度要遠高於FM，這點在程式碼實踐中有所體現。並且FFM在特徵數較多的場景中，複雜度指數級飆升，難以上線。FM可保持為線性複雜度，性質較好。

3 總結

優點：

1. 引入 field 域的概念，讓某一特徵與不同特徵做互動時，可發揮不同的重要性，提升模型表達能力；
2. 可解釋性強，可提供某些特徵組合的重要性。

缺點：

1. 複雜度高，不適用於特徵數較多的場景。

4 程式碼實戰

理論結合程式碼食用更佳， 程式碼中會加入充分註釋，以易理解。

Tips: 模型搭建程式碼使用 TF2.0 實現

FFM層程式碼：

(將 FFM 封裝成 Layer，隨後在搭建 Model 時直接呼叫即可)

import tensorflow as tf
from tensorflow.keras.layers import Input, Layer
from tensorflow.keras.regularizers import l2

class FFM_Layer(Layer):
    def __init__(self, feature_columns, k, w_reg=1e-4, v_reg=1e-4):
        super(FFM_Layer, self).__init__()
        # FFM需要提前指定field的數目，因此需要傳入數值特徵與類別特徵的列表feature_columns(具體可參照github中utils.py檔案中對資料的處理過程)
        self.dense_feature_columns, self.sparse_feature_columns = feature_columns 
        self.k = k 		   # 隱向量v的維度
        self.w_reg = w_reg # 權重w的正則項係數
        self.v_reg = v_reg # 權重v的正則項係數

        self.feature_num = sum([feat['feat_onehot_dim'] for feat in self.sparse_feature_columns]) \
                           + len(self.dense_feature_columns) # 類別特徵onehot處理之後資料集的總維度
        self.field_num = len(self.dense_feature_columns) + len(self.sparse_feature_columns) # field個數=數值特徵個數+類別特徵個數

    def build(self, input_shape):
        self.w0 = self.add_weight(name='w0', shape=(1,),   # shape:(1,)
                                  initializer=tf.zeros_initializer(),
                                  trainable=True) 
        self.w = self.add_weight(name='w', shape=(self.feature_num, 1),  # shape:(n, 1)
                                 initializer=tf.random_normal_initializer(),
                                 regularizer=l2(self.w_reg),
                                 trainable=True)
        self.v = self.add_weight(name='v',  # shape:(n, field, k),比FM的V矩陣多一個維度
                                 shape=(self.feature_num, self.field_num, self.k),
                                 initializer=tf.random_normal_initializer(),
                                 regularizer=l2(self.v_reg),
                                 trainable=True)

    def call(self, inputs, **kwargs):
    	# 輸入為Criteo資料集，前13維為數值特徵，後面為類別特徵，可參照github中Data資料夾)
        dense_inputs = inputs[:, :13]  # 數值特徵
        sparse_inputs = inputs[:, 13:] # 類別特徵

        # one-hot encoding
        x = tf.cast(dense_inputs, dtype=tf.float32)  # 型別轉換
        for i in range(sparse_inputs.shape[1]):      # 類別特徵onehot處理
            x = tf.concat(
                [x, tf.one_hot(tf.cast(sparse_inputs[:, i], dtype=tf.int32),
                                   depth=self.sparse_feature_columns[i]['feat_onehot_dim'])], axis=1)  				 	 # shape:(None, n)
		
        linear_part = self.w0 + tf.matmul(x, self.w) # 線性部分 shape:(None, 1)
        
        inter_part = 0
        field_f = tf.tensordot(x, self.v, axes=1)    # 為了方便，先計算公式中的Vij*Xi. shape:[None, n] x [n, field, k] = [None, field, k]
        for i in range(self.field_num): 			 # 域之間兩兩相乘,[None, field, k]->[None, k]，(因為公式無法化簡，所以無法避免巢狀for迴圈的計算，導致了較高的複雜度)
            for j in range(i+1, self.field_num):
                inter_part += tf.reduce_sum(
                    tf.multiply(field_f[:, i], field_f[:, j]), # [None, k]
                    axis=1, keepdims=True
                )
        return linear_part + inter_part   			 # [None, k]

Model 搭建：

from layer import FFM_Layer
from tensorflow.keras import Model

class FFM(Model):
    def __init__(self, feature_columns, k, w_reg=1e-4, v_reg=1e-4):
        super(FFM, self).__init__()
        self.dense_feature_columns, self.sparse_feature_columns = feature_columns
        self.ffm = FFM_Layer(feature_columns, k, w_reg, v_reg)	# 定義FFM層

    def call(self, inputs, **kwargs):
        output = self.ffm(inputs)		# 輸入FFM層
        output = tf.nn.sigmoid(output)	# 非線性轉換
        return output

到此模型搭建就結束了。

完整的程式碼 (包括資料的處理以及模型的訓練) 可參考 Github ，自行下載資料集到本地執行即可。

寫在最後

下一篇預告：Wide&Deep 推薦演算法與深度學習的碰撞

希望看完此文的你能夠有所收穫…