本文為轉載文章，來源為： https://blog.csdn.net/Snoopy_Yuan/article/details/75105724

一直在探索資料探勘、資料建模的案例，百度搜到這篇文章，收穫頗豐，轉載以作記錄。

移動推薦演算法是阿里天池賽2015年賽題之一，題目以移動電商平臺的真實使用者-商品行為資料為基礎來構建商品推薦模型。該題現已成為新人入門的經典演練物件，博主也希望基於該題場景，加深對機器學習相關知識的理解，積累實踐經驗。關於題目回顧與資料初探，可參考：天池離線賽 - 移動推薦演算法（一）：題目與資料解析，本文討論如何進行特徵構建，為之後基於模型的方法實現提供支援。

特徵工程回顧

特徵工程是機器學習方法在工業界得到有效應用的基礎。業界普遍的認為：資料和特徵決定了學習的上限，而模型和演算法只是在逼近這個上限。所以，做好特徵工程，是高效實現機器學習和資料探勘任務的基礎。關於特徵工程的詳細內容，可參考：

特這構建與選取是特徵工程的重要內容，包括：

• 結合業務物件和資料可用性確定所需特徵（包括特徵的定義、數值特性、特徵組合衍生…）；
• 基於原始資料構建特徵資料並作基本預處理（SQL、資料清洗…）；
• 針對不同模型進行特徵預處理，包括取樣、單個特徵預處理（歸一化、離散化、缺值處理…）、多個特徵的處理（PCA、LDA、Clustering、卡方檢驗、相關係數、正則化…）；
• 在模型訓練中分析選取特徵（有效性、重要性）；
• 。。。

特徵構建

預研思路

首先給出特徵構建時的一些思路：

1. 由於使用者行為對購買的影響隨時間減弱，根據分析，使用者在一週之前的行為對考察日是否購買的影響已經很小，故而只考慮距考察日一週以內的特徵資料。

2. 由於資料來源於垂直電商，其特點是線上購買線下消費，猜測其購買行為具有一定的週期性，進一步猜測行為週期為一個星期。待預測目標考察日為 12.19 ，是星期五，所以分割出11.18~12.18資料中的四段以星期五為考察日，一週為考察期的資料，一共有4組，其中一組涉及雙十二異常期，故而省區，還剩下三組資料如下：

   part 1 - train: 11.22~11.27 -> 11.28;
   part 2 - train: 11.29~12.04 -> 12.05;
   part 3 - pred:  12.13~12.18 (-> 12.19);
   

   其中 part 1 和 part 2 可作為模型訓練和驗證資料集，part 3 為測試資料集；

3. 針對當前業務背景，考慮從user、item、item_category三大基本維度及其組合入手進行特徵構建，簡稱U、I、C。

4. 由於問題已被明確為 U-I 是否發生購買行為（標記label取｛0，1]）的分類問題，最終的特徵資料均要合併到生成以 U-I 為index（key）的樣本集上來。進一步地，如要考慮所有可能的 U-I ，必將面臨組合爆炸的問題，所以這裡只關注在距考察日一週以內出現過的 U-I 。

特徵構建

這裡將所需構建的特徵分為六大類：U、I、C、UI、UC、IC，對每類分別結合行為次數、時間、排序等視角設計特徵。考慮到樣本規模，特徵數量不宜太少，這裡我們設計了約100個特徵來進行第一季的資料任務，具體的特徵選擇及定義見下表：

通過sql或python-pandas可以簡潔的完成這些特徵的提取。

這些特徵數值尺度不一，所以在使用尺度敏感模型前需要進行歸一化處理；有些特徵是離散型（如排序特徵），有的特徵存在缺值（如時間差特徵），這些都要根據具體的模型來進行預處理。

樣本格式

在進行了特徵構建之後，我們通過合併各大類特徵資料（U、I、C、UI、UC、IC）得出訓練和預測所需的資料，資料樣本格式如下：

在得出樣本集之後，就可以進行模型的訓練和預測了。

（p.s.生成的資料量規模達到10G級別，考慮到單機計算儲存資源受限，在示例程式大量使用了分塊操作，另外也可考慮基於HDFS+MR來實現）。