在進行機器學習的時候，我們需要對單個體進行多維度分析，比如說在日誌審計系統，我們需要對每一個操作賬戶進行操作次數統計，總操作次數統計，方差，極值，中值，突變度等計算。有時，也要計算非工作時間的訪問，方差，極值，中值，突變度等資料。

過去的做法是，讀取每一個賬戶的操作記錄，然後分別計算一系列指標，最後通過cluster_foreach迴圈方式解決......

這種方式的缺點是顯而易見的，10000個人需要計算10000次，實際的專案經驗是百萬人級別，叢集任務過多對硬體的要求也比較大，專案執行起來難度就比較大。

在長期實踐中，OpenFEA團隊不斷探索創新，引入numpy模組，創新性的解決了多個體多維度計算問題，在32萬個體的總過2000萬條記錄上，使用該模組，在未使用叢集的情況下，在30分鐘時間內順利計算了40個指標，充分展現了fea在資料分析領域的強大計算能力和極佳的便捷性。

在這裡，筆者不打算介紹具體的專案，而是把計算過程中用的核心概念，核心方法展示出來，結合一個小資料，讓大家在實際操作中具體的感受numpy模組是什麼，能進行什麼運算，怎麼呼叫運算等，這樣便於大家抓住本質。

1、numpy模組的高階運算——呼叫方法

原始資料如下：

1）和udf0.df_row_lambda 函式結合

a=@udf a by udf0.df_rowl with (lambda x:np.sum(x))

可以看見，np.sum()就是對整行求和

a=@udf a by udf0.df_row_lambda with (x:np.sum(x[:7]))

可以發現，x[0:7]就是對a行取前7列的意思

2）numpy模組的實質

提供了一個多維函式模組，28=np.sum(1,2,3,4,5,6,7)

可以通過lambda函式呼叫

2、numpy模組的高階運算——設定範圍

原始資料如下：

1） 對第1行“取0到2求和”，第2行“取1到3求和”，...

a=@udf a by udf0.df_rowl with (lambda x:np.sum(x[x["start"]:x["end"]+1]))

可以看見，在lambda運算中，“運算元素”可以隨意組合

2） 對第1行“取0到2求和”，第2行“取1到2的最大值”，...

l a=@udf a by udf0.df_rowl with (lambda x:np.sum(x[x["start"]:x["end"]+1]) if x["start"]%2==0 else np.max(x[x["start"]:x["end"]]) )

把if語句也套用進來了，處理的靈活性大大增強

3）對大於3的值求和

a=@udf a by udf0.df_rowl with (lambda x:np.dot(x[0:],x[0:]>3))

3、numpy模組的高階運算——錯位運算

原始資料如下：

1）第一行的“1到3列”和“0到2列”錯位相減，然後求和

（2-1）+（3-2）+（4-3）=3

[email protected] a by udf0.df_rowl with (lambda x:np.sum(np.array(x[x["start"]+1:x["end"]+2])-np.array(x[x["start"]:x["end"]+1])))

可以看到x[7]和x["start"]是同一個值

2）函式詳解

np.array()函式實現了，把序列x[0:3]="1,2,3"轉換成為矩陣(1,2,3)

np.sum()函式同時支援序列元素求和及矩陣元素求和

4、numpy模組的高階運算——必要說明

1）numpy模組中的方差，標準差的定義和fea基本運算中的agg_group模組中的定義不一致，全樣本方差和樣本方差不同（除以n還是除以n-1的差別）

2）numpy模組中average函式和其他函式的處理細節不是很一致，使用前需要驗證，確認可以滿足演算法需求

5、numpy模組的高階運算——運算優勢

1）把複雜的錯位運算，變成一個lambda表示式，可以對百萬級的運算個體同時計算某個測量指標，而不要分個體逐一計算，徹底解決機器學習中，個體多，維度多的分析計算需求。

2）可以和lambda函式，深度套用，靈活多變，非常適合科學計算。

3）語言接近矩陣語言，稍微有點矩陣知識即可靈活使用。

6、總結

1）通過上面的演示，相信大家可以通過lambda函式，順利呼叫numpy模組，對資料進行切塊分段計算，錯位計算也都有了一定的認知。

2）需要提醒大家的是，資料分析本身就是很具有靈活性，在實際專案中，結果是否符合自己的期望，是否正確，很多時候不是“工具本身”說了算，而是“專案需求”要怎麼做，確切搞明白每一段程式碼運算結果的“專案含義”。

3）再次提醒大家，numpy模組異常豐富，本文只是一個模型、展示，將相關的概念、用法、技巧“簡單點到”而做不到“包教包會”，需要大家根據專案本身，提出概念、模型，然後翻譯成numpy語言。