給的資料集有4部分

達人搭配組合

商品資訊

購買記錄

線上測試集

在第一賽季中的思路和阿里星小江分享的差不多

http://datartist.cn/?p=5

第二賽季自己實力不夠，思路陷入迷信模型中，導致被幹出了前10

那麼我就來講講12名的思路吧

首先根據達人搭配提取出類別搭配對，一共2600+

然後把歷史記錄按同一個人同一個月購買的資料傳入MR，得到搭配對，然後統計次數，去掉類別不搭配的商品對，這個結果線上2.72

然後是模型的一部分

剛開始模型選取的預測樣本是預測集搭配類相似度top400

然後把達人搭配弄成兩兩搭配，有210W+

這些全部作為模型的正樣本

負樣本也全部使用達人搭配裡面的商品，取類別搭配的商品對，隨機取樣和正樣本1：5

這樣得到的結果，把歷史記錄放前面，模型結果放後面大概是6.09

後來意識到預測樣本召回太小了，於是通過關係網路又構建了一大波預測樣本。

商品對之間的關係可以分為三種，達人搭配，相似，同時購買。

於是通過這三種關係互相傳遞得到10幾份樣本，再加進去用模型預測，最後結果在6.32

後面通過簡單3：1的比例穿插融合歷史記錄和模型結果得到6.45

模型特徵有51個：兩個商品的銷量，兩個商品在每個月的向量在商品本身的佔比26個，每個月銷量佔比向量的相似度，商品文字的TFIDF餘弦相似度，還有其他各種加權相似度15個，類別權重cat_1,cat_2,weight，詞權重權重cat_1,cat_2,term_1,term_2,weight.這兩個提分還是挺大的。類別權重就是類別搭配對在達人搭配中的次數除以cat_1的次數，詞權重思路也是差不多，但是詞權重的程式碼不太好寫。我寫完之後過幾天自己都看不懂了。。。

最後天我添加了一個特徵，搭配商品在達人搭配中出現的次數，導致線上成績5.5。。。。。我覺得有可能是我程式碼寫錯了，線下測試明明是提升很多的

這比賽跪掉的原因總結如下：迷信模型，沒有充分考慮到傳遞搭配的權重問題，如果把傳遞的一些特徵新增到模型中或許也有提升。

也沒有充分融合各部分的結果，把不同樣本放到同一個模型中預測不太靠譜，要麼加上代表這類樣本的特徵，要麼直接用權重來融合每一部分的結果

這樣才能體現出商品對的權重資訊，因為商品對可能出現在不同樣本集中，這代表了不同的傳遞的資訊量的融合。

下面這段模型融合的程式碼中，我是直接取的商品對的得分最大值，應該加權的.聽說前面那些7，8分的都沒用模型，直接按權重相加，頓時就給大神們跪了。

create table result1208 as
select item_1 as item_id,item_2 as sim_item,prediction_score as sim,rank
from(
select item_1,item_2,prediction_score,row_number() over(partition by item_1 order by prediction_score desc) as rank
from(
select item_1,item_2,max(prediction_score) as prediction_score from(
select * from result_match_sim
union all select * from result_cb
union all select * from result_cd
union all select * from result_ce
union all select * from result_cf
union all select * from result_cg
union all select * from result_ch
union all select * from result_ci
union all select * from result_cj
union all select * from result_ck
union all select * from result_cm
union all select * from result_cn
union all select * from result_co
union all select * from result_cp
)a group by item_1,item_2,prediction_score
)a)a where rank<=200;

至於影象方面，得到的特徵太長了，算的時候比較浪費資源，而且一算就是一天，就沒有用。

後面朋友告訴我可以用來算搭配類的相似度，把得到的結果前面幾個放到提交結果的前面會有很大提升。

最後依依不捨的去平臺數了下程式碼，有4800行SQL，MR大概有個千行吧

比賽結束後，最大的感觸就是，還是自己太菜