原文地址：http://www.cnblogs.com/zhangzhangwhu/p/7219651.html

前言

Python的pandas包提供的資料聚合與分組運算功能很強大，也很靈活。《Python for Data Analysis》這本書第9章詳細的介紹了這方面的用法，但是有些細節不常用就容易忘記，遂打算把書中這部分內容總結在部落格裡，以便複習檢視。根據書中的章節，這部分知識包括以下四部分：

1.GroupBy Mechanics（groupby技術）

2.Data Aggregation（資料聚合）

3.Group-wise Operation and Transformation（分組級運算和轉換）

4.Pivot Tables and Cross-Tabulation（透視表和交叉表）

本文是第一部分，介紹groupby技術。

一、分組原理

核心：

1.不論分組鍵是陣列、列表、字典、Series、函式，只要其與待分組變數的軸長度一致都可以傳入groupby進行分組。

2.預設axis=0按行分組，可指定axis=1對列分組。

對資料進行分組操作的過程可以概括為：split-apply-combine三步：

1.按照鍵值（key）或者分組變數將資料分組。

2.對於每組應用我們的函式，這一步非常靈活，可以是python自帶函式，可以是我們自己編寫的函式。

3.將函式計算後的結果聚合。

圖1：分組聚合原理（圖片來自《Python for Data Analysis》page 252)

import pandas as pd
import numpy as np

df = pd.DataFrame({'key1' : ['a', 'a', 'b', 'b', 'a'],
    'key2' : ['one', 'two', 'one', 'two', 'one'],
    'data1' : np.random.randn(5),
    'data2' : np.random.randn(5)})

我們將key1當做我們的分組鍵值，對data1進行分組，再求每組的均值：

grouped = df['data1'].groupby(df['key1'])

語法很簡單，但是這裡需要注意grouped的資料型別，它不在是一個數據框，而是一個GroupBy物件。

grouped

實際上，在這一步，我們並沒有進行任何計算僅僅是建立用key1分組後建立了一個GroupBy物件，我們後面函式的任何操作都是基於這個物件的。

求均值：

grouped.mean()

剛剛我們只是用了key1進行了分組，我們也可以使用兩個分組變數，並且通過unstack方法進行結果重塑：

means = df['data1'].groupby([df['key1'], df['key2']]).mean()

means

means.unstack

以上我們的分組變數都是df內部的Series,實際上只要是和key1等長的陣列也可以：

states = np.array(['Ohio', 'California', 'California', 'Ohio', 'Ohio'])
years = np.array([2005, 2005, 2006, 2005, 2006])
df['data1'].groupby([states, years]).mean()

二、對分組進行迭代

GroupBy物件支援迭代操作，會產生一個由分組變數名和資料塊組成的二元元組：

for name, group in df.groupby('key1'):
    print name
    print group

如果分組變數有兩個：

for (k1,k2), group in df.groupby(['key1','key2']):
    print k1,k2
    print group

我們可以將上面的結果轉化為list或者dict，來看看結果是什麼樣的：

list(df.groupby(['key1','key2']))

看不太清楚，我們來看看這個列表的第一個元素：

list(df.groupby(['key1','key2']))[0]

同樣，我們也可以將結果轉化為dict（字典）：

dict(list(df.groupby(['key1','key2'])))

dict(list(df.groupby(['key1','key2'])))[('a','one')]

以上都是基於行進行分組，因為預設情況下groupby是在axis=0方向（行方向）進行分組，我們可以指定axis=1方向（列方向）進行分組：

grouped=df.groupby(df.dtypes,axis=1)
list(grouped)[0]

dict(list(grouped))

注意，

'''下面兩段語句功能一樣'''
df.groupby('key1')['data1']
df.data1.groupby(df.key1)

三、通過字典進行分組

people = pd.DataFrame(np.random.randn(5, 5),
     columns=['a', 'b', 'c', 'd', 'e'],
     index=['Joe', 'Steve', 'Wes', 'Jim', 'Travis'])
people.ix[2:3, ['b', 'c']] = np.nan # 新增缺失值
people

假如，我們想按列進行聚合，該怎麼操作呢？

我們根據實際情況，對列名建立字典，然後將此字典傳入groupby，切記指定axis=1,因為我們是對列進行分組聚合：

mapping = {'a': 'red', 'b': 'red', 'c': 'blue',
     'd': 'blue', 'e': 'red', 'f' : 'orange'}
by_columns=people.groupby(mapping,axis=1)
by_columns.mean()

既然我們可以通過傳入字典來對列進行分組，那麼肯定也可以通過傳入Series來對列進行分組了（Series中的index就相當字典中的key嘛）：

map_series = pd.Series(mapping)
people.groupby(map_series,axis=1).count()

四、通過函式進行分組

剛剛我們分組時利用了dict和series建立對映，對於一些複雜的需求，我們可以直接對groupby函式傳遞函式名來進行分組，以剛才的people資料為例，如果我們想按行分組，分組的key是每個人名的字母長度，該怎麼做呢？比較直接的想法是相對每個名字求長度，建立一個數組，然後將這個陣列傳入groupby，我們來試驗一下：

l=[len(x) for x in people.index]
people.groupby(l).count()

方案可行，那麼有沒有更快捷更優美的方法呢？當然有啦，我們只需將len這個函式名傳給groupby即可：

people.groupby(len).count()

除了傳遞函式，我們也可以將函式和dict，series，array一起使用，畢竟最後都會統統轉化為陣列：

key_list = ['one', 'one', 'one', 'two', 'two']
people.groupby([len, key_list]).min()

五、根據索引級別分組

剛剛我們的資料索引只有一級，當資料有多級索引時，可以通過level指定我們想要分組的索引，注意要使用axis=1表示按列：

columns = pd.MultiIndex.from_arrays([['Asian', 'Asian', 'Asian', 'America', 'America'],
    ['China','Japan','Singapore','United States','Canada']], names=['continent', 'country'])
hier_df = pd.DataFrame(np.random.randn(4, 5), columns=columns)
hier_df

我們按洲進行分組求和：