1. 程式人生 > 其它 >阿里star論文閱讀《One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction》

阿里star論文閱讀《One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction》

背景

這是阿里發的一篇 Multi-Domain CTR 預估論文, Multi-Domain 和 multitask 任務有什麼本質區別嗎?沒接觸過 Multi-Domain 的業務,阿里的Multi-Domain類似同個頁面下的不同廣告位吧

 

模型結構

 

 

 直接看模型結構吧,阿里star模型和普通的ctr模型主要有以下幾個區別:

1. embedding層都是一樣的,各個domain都是共享底層embedding的

2. BN層換成了PN,簡單來說就是對不同domain的樣本採用了不同的BN

3. Star Topology FCN,不同domain有一個共享的FCN,每個domain也有自己的FCN

4. 加了一個輔助任務,強化模型區分不同domian

下面詳細介紹各個部分

 

Partitioned Normalization

batch normalization (BN) 是模型中常見的一種結構

訓練時:

 

 預估時:

 

 

 BN假設了所有的樣本都是服從相同分佈的,BN適合單domain的任務,對於多domain的任務,阿里star提出了partitioned normalization結構

訓練時:

 

預估時:

和普通BN相比,PN有以下幾點不同:

1. 每個mini batch的樣本要屬於同一個domain

2. 訓練時,不僅學習了所有domain共享的一對引數(γ,β),對於每個domain還另外學習了一對引數(γp

,βp

3. 預估時,每個domain都要計算它的期望和方差

 

Star Topology FCN