特徵組合 (Feature Crosses)

特徵組合是指兩個或多個特徵相乘形成的合成特徵。特徵的相乘組合可以提供超出這些特徵單獨能夠提供的預測能力。

學習目標

• 瞭解特徵組合。
• 在 TensorFlow 中實施特徵組合。

-----------------------------------------------------

特徵組合 (Feature Crosses)：對非線性規律進行編碼

    上圖中左圖是一個線性問題，因為我們可以畫一條線將兩種顏色的點分開。右圖則靠一條線做不到，所以這是個非線性性問題。

要解決非線性問題，可以建立一個特徵組合。

特徵組合是指：通過將兩個或多個輸入特徵相乘來對特徵空間中的非線性規律進行編碼的合成特徵。“cross”（組合）這一術語來自 

    我們將x1,x2組合成一個名為x3的特徵組合：x3 = x1x2

    我們像處理任何其他特徵一樣來處理這個新建的x3特徵組合。線性公式變為：y = b + w1x1 + w2x2 + w3x3

    線性演算法可以算出w3的權重，雖然w3表示非線性資訊，但是我們不需言改變線性模型的訓練方式就可以確定w3的值。

特徵組合的種類

我們可以建立很多不同種類的特徵組合。例如：

• [A X B]：將兩個特徵的值相乘形成的特徵組合。
• [A x B x C x D x E]：將五個特徵的值相乘形成的特徵組合。
• [A x A]：對單個特徵的值求平方形成的特徵組合。

通過採用隨機梯度下降法，可以有效地訓練線性模型。因此，在使用擴充套件的線性模型時輔以特徵組合一直都是訓練大規模資料集的有效方法。

-----------------------------------------------------

特徵組合 (Feature Crosses)：組合獨熱向量

到目前為止，我們已經重點介紹瞭如何對兩個單獨的浮點特徵進行特徵組合。在實踐中，機器學習模型很少會組合連續特徵。不過，機器學習模型卻經常組合獨熱特徵向量，將獨熱特徵向量的特徵組合視為邏輯連線。例如，假設我們具有以下兩個特徵：國家/地區和語言。對每個特徵進行獨熱編碼會生成具有二元特徵的向量，這些二元特徵可解讀為 country=USA, country=France 或 language=English, language=Spanish

-------------------------------------------------------

以上整理轉載在谷歌出品的機器學習速成課程點選開啟連結 侵刪！