本文主要介紹Pandas統計函式：groupby、pivot_table及crosstab

產生資料

import numpy as np
import pandas as pd
from pandas import DataFrame

df = DataFrame({'key1':['a','a','b','b','a'],
                'key2':['one','two','one','two','one'],
                'data1':[1,2,3,2,5],
                'data2':np.random.randn(5
 
)})
print(df)
#    data1     data2 key1 key2
# 0      1  0.493919    a  one
# 1      2 -0.887280    a  two
# 2      3 -0.267727    b  one
# 3      2  0.048972    b  two
# 4      5  0.309441    a  one

分組groupby

Pandas中最為常用和有效的分組函式。

• 按列分組
  注意以下使用groupby()函式生成的group1是一箇中間分組變數，為GroupBy型別。既可依據單個列名’key1’進行為分組，也可依據多個列名[‘key1’,’key2’]進x行分組。根據for迴圈遍歷元素。

# 根據單個列分組
group1 = df.groupby('key1')
print(group1)
# <pandas.core.groupby.DataFrameGroupBy object at 0x0000015036489710>

# 根據多個列分組
group2 = df.groupby(['key1','key2'])
print(group2)
# <pandas.core.groupby.DataFrameGroupBy object at 0x000001503636C080>

# 遍歷group1中的元素
l=[x for x in group1]
print(l)
# [('a',    data1     data2 key1 key2
 

# 0      1  0.493919    a  one
# 1      2 -0.887280    a  two
# 4      5  0.309441    a  one), 
#  ('b',    data1     data2 key1 key2
# 2      3 -0.267727    b  one
# 3      2  0.048972    b  two)]

• 按分組統計
  在分組group1、group2上應用size()、sum()、count()等統計函式，能分別統計分組數量、不同列的分組和、不同列的分組數量。

# 呼叫聚合函式打印出每個組中結果
print(group1.size())
# key1
# a    3
# b    2
# dtype: int64

print(group1.sum() )
#       data1     data2
# key1                 
# a         8 -0.083919
# b         5 -0.218755

print(group1.count())
#       data1  data2  key2
# key1                    
# a         3      3     3
# b         2      2     2

• 應用agg()
  對於分組的某一列或者多個列，應用agg(func)可以對分組後的資料應用func函式。例如：用group1[‘data1’].agg(‘mean’)對分組後的’data1’列求均值。當然也可以推廣到同時作用於多個列和使用多個函式上。

print(group1['data1'].agg('mean'))
# key1
# a    2.666667
# b    2.500000
# Name: data1, dtype: float64

print(group1['data1'].agg(['mean','sum']))
#           mean  sum
# key1
# a     2.666667    8
# b     2.500000    5

print(group1['data1','data2'].agg(['mean','sum']))
#          data1         data2
#           mean sum      mean       sum
# key1
# a     2.666667   8 -0.556335 -1.669005
# b     2.500000   5  0.052789  0.105577

• 應用apply()
  apply()不同於agg()的地方在於：前者應用於dataframe的各個列，後者僅作用於指定的列。

print(df.groupby('key1').apply(np.mean))
#          data1     data2
# key1                    
# a     2.666667  0.083070
# b     2.500000 -0.346864

print(df.groupby(['key1','key2']).apply(np.mean))
#            data1     data2
# key1 key2
# a    one     3.0  0.556917
#      two     2.0 -0.864626
# b    one     3.0  0.723882
#      two     2.0 -1.417610

透視表pivot_table

可以產生類似於excel資料透視表的結果，相當的直觀。

• 分組統計
  其中引數index指定“行”鍵，columns指定“列”鍵。

print(pd.pivot_table(df, index='key1', columns='key2'))
#      data1         data2          
# key2   one two       one       two
# key1                              
# a        3   2  0.246833  1.018249
# b        3   2 -0.508228  1.298586

print(df.pivot_table(['data1'], index='key1',columns='key2'))
#      data1
# key2   one two
# key1
# a        3   2
# b        3   2

• 分項彙總
  如果將引數margins設定為True，則可以得到分項總計資料。

print(df.pivot_table(index='key1',columns='key2', margins=True))
#      data1                    data2
# key2   one  two       All       one       two       All
# key1
# a      3.0  2.0  2.666667  0.246833  1.018249  0.503971
# b      3.0  2.0  2.500000 -0.508228  1.298586  0.395179
# All    3.0  2.0  2.600000 -0.004854  1.158417  0.460454

交叉表crosstab

可以按照指定的行和列統計分組頻數，用起來非常方便；當然同樣的功能也可採用groupby實現。

print(pd.crosstab(df.key1,df.key2, margins=True))
# key2  one  two  All
# key1
# a       2    1    3
# b       1    1    2
# All     3    2    5