2. 程式人生 > >資料基礎---《利用Python進行資料分析·第2版》第8章 資料規整：聚合、合併和重塑

資料基礎---《利用Python進行資料分析·第2版》第8章 資料規整：聚合、合併和重塑

阿新 • • 發佈：2018-11-09

之前自己對於numpy和pandas是要用的時候東學一點西一點，直到看到《利用Python進行資料分析·第2版》，覺得只看這一篇就夠了。非常感謝原博主的翻譯和分享。

在許多應用中，資料可能分散在許多檔案或資料庫中，儲存的形式也不利於分析。本章關注可以聚合、合併、重塑資料的方法。

首先，我會介紹pandas的層次化索引，它廣泛用於以上操作。然後，我深入介紹了一些特殊的資料操作。在第14章，你可以看到這些工具的多種應用。

8.1 層次化索引

層次化索引（hierarchical indexing）是pandas的一項重要功能，它使你能在一個軸上擁有多個（兩個以上）索引級別。抽象點說，它使你能以低維度形式處理高維度資料。我們先來看一個簡單的例子：建立一個Series，並用一個由列表或陣列組成的列表作為索引：

import pandas as pd
import numpy as np
data =pd.Series(np.random.randn(9),index=[['a', 'a', 'a', 'b', 'b', 'c', 'c', 'd', 'd'],[1, 2, 3, 1, 3, 1, 2, 2, 3]])
data

a  1   -0.626605
   2   -0.099608
   3    1.832826
b  1    0.764571
   3    1.241071
c  1   -1.656578
   2   -0.837847
d  2   -1.563933
   3    1.566208
dtype: float64

看到的結果是經過美化的帶有MultiIndex索引的Series的格式。索引之間的“間隔”表示“直接使用上面的標籤”：

data.index

MultiIndex(levels=[['a', 'b', 'c', 'd'], [1, 2, 3]],
           labels=[[0, 0, 0, 1, 1, 2, 2, 3, 3], [0, 1, 2, 0, 2, 0, 1, 1, 2]])

對於一個層次化索引的物件，可以使用所謂的部分索引，使用它選取資料子集的操作更簡單：

data['b']

1    0.764571
3    1.241071
dtype: float64

 
data['b':'c']

b  1    0.764571
   3    1.241071
c  1   -1.656578
   2   -0.837847
dtype: float64

data.loc[['b','c']]

b  1    0.764571
   3    1.241071
c  1   -1.656578
   2   -0.837847
dtype: float64

有時甚至還可以在“內層”中進行選取：

data.loc[:,2]

a   -0.099608
c   -0.837847
d   -1.563933
dtype: float64

這裡是Series,[:,2]中逗號的兩邊都是表示行索引，前者是外層索引，後者是內層索引

層次化索引在資料重塑和基於分組的操作（如透視表生成）中扮演著重要的角色。例如，可以通過unstack方法將這段資料重新安排到一個DataFrame中：

data.unstack()
1 2 3
a -0.626605 -0.099608 1.832826
b 0.764571 NaN 1.241071
c -1.656578 -0.837847 NaN
d NaN -1.563933 1.566208

unstack的逆運算是stack：

data.unstack().stack()

a  1   -0.626605
   2   -0.099608
   3    1.832826
b  1    0.764571
   3    1.241071
c  1   -1.656578
   2   -0.837847
d  2   -1.563933
   3    1.566208
dtype: float64

stack和unstack將在本章後面詳細講解。

對於一個DataFrame，每條軸都可以有分層索引：

frame = pd.DataFrame(np.arange(12).reshape((4, 3)), index=[['a', 'a', 'b', 'b'], [1, 2, 1, 2]],columns=[['Ohio', 'Ohio', 'Colorado'], ['Green', 'Red', 'Green']])
frame
Ohio Colorado
Green Red Green
a 1 0 1 2
2 3 4 5
b 1 6 7 8
2 9 10 11

各層都可以有名字（可以是字串，也可以是別的Python物件）。如果指定了名稱，它們就會顯示在控制檯輸出中：

frame.index.names=['key1','key2']
frame.columns.names=['state','color']
frame
state Ohio Colorado
color Green Red Green
key1 key2
a 1 0 1 2
2 3 4 5
b 1 6 7 8
2 9 10 11

注意：小心區分索引名state、color與行標籤。

有了部分列索引，因此可以輕鬆選取列分組：

frame['Ohio']
color Green Red
key1 key2
a 1 0 1
2 3 4
b 1 6 7
2 9 10

可以單獨建立MultiIndex然後複用。上面那個DataFrame中的（帶有分級名稱）列可以這樣建立：

from pandas import MultiIndex
MultiIndex.from_arrays([['Ohio', 'Ohio', 'Colorado'], ['Green', 'Red', 'Green']],names=['state','color'])

MultiIndex(levels=[['Colorado', 'Ohio'], ['Green', 'Red']],
           labels=[[1, 1, 0], [0, 1, 0]],
           names=['state', 'color'])

重排與分級排序

有時，你需要重新調整某條軸上各級別的順序，或根據指定級別上的值對資料進行排序。swaplevel接受兩個級別編號或名稱，並返回一個互換了級別的新物件（但資料不會發生變化）：

frame.swaplevel('key1','key2')
state Ohio Colorado
color Green Red Green
key2 key1
1 a 0 1 2
2 a 3 4 5
1 b 6 7 8
2 b 9 10 11

而sort_index則根據單個級別中的值對資料進行排序。交換級別時，常常也會用到sort_index，這樣最終結果就是按照指定順序進行字母排序了：

frame.sort_index(level=1)
state Ohio Colorado
color Green Red Green
key1 key2
a 1 0 1 2
b 1 6 7 8
a 2 3 4 5
b 2 9 10 11 
frame.swaplevel(0,1).sort_index(level=0)
state Ohio Colorado
color Green Red Green
key2 key1
1 a 0 1 2
b 6 7 8
2 a 3 4 5
b 9 10 11

根據級別彙總統計

許多對DataFrame和Series的描述和彙總統計都有一個level選項，它用於指定在某條軸上求和的級別。再以上面那個DataFrame為例，我們可以根據行或列上的級別來進行求和：level指的是保留的索引，按這個索引來分組

frame.sum()#預設是對各列求和

state     color
Ohio      Green    18
          Red      22
Colorado  Green    26
dtype: int64

frame.sum(level='key2')#還是對列求和，只是分了組
state Ohio Colorado
color Green Red Green
key2
1 6 8 10
2 12 14 16 
frame.sum(level='color',axis=1)
color Green Red
key1 key2
a 1 2 1
2 8 4
b 1 14 7
2 20 10

這其實是利用了pandas的groupby功能，本書稍後將對其進行詳細講解。

使用DataFrame的列進行索引

人們經常想要將DataFrame的一個或多個列當做行索引來用，或者可能希望將行索引變成DataFrame的列。以下面這個DataFrame為例：

frame = pd.DataFrame({'a': range(7), 'b': range(7, 0, -1),'c': ['one', 'one', 'one', 'two', 'two', 'two', 'two'],'d': [0, 1, 2, 0, 1, 2, 3]})
frame
a b c d
0 0 7 one 0
1 1 6 one 1
2 2 5 one 2
3 3 4 two 0
4 4 3 two 1
5 5 2 two 2
6 6 1 two 3

DataFrame的set_index函式會將其一個或多個列轉換為行索引，並建立一個新的DataFrame：

frame2=frame.set_index(['c','d'])
frame2
a b
c d
one 0 0 7
1 1 6
2 2 5
two 0 3 4
1 4 3
2 5 2
3 6 1

預設情況下，那些列會從DataFrame中移除，但也可以將其保留下來：

frame.set_index(['c','d'],drop=False)
a b c d
c d
one 0 0 7 one 0
1 1 6 one 1
2 2 5 one 2
two 0 3 4 two 0
1 4 3 two 1
2 5 2 two 2
3 6 1 two 3

reset_index的功能跟set_index剛好相反，層次化索引的級別會被轉移到列裡面：

frame2.reset_index()
c d a b
0 one 0 0 7
1 one 1 1 6
2 one 2 2 5
3 two 0 3 4
4 two 1 4 3
5 two 2 5 2
6 two 3 6 1

8.2 合併資料集

pandas物件中的資料可以通過一些方式進行合併：

  • pandas.merge可根據一個或多個鍵將不同DataFrame中的行連線起來。SQL或其他關係型資料庫的使用者對此應該會比較熟悉，因為它實現的就是資料庫的join操作。
  • pandas.concat可以沿著一條軸將多個物件堆疊到一起。
  • 例項方法combine_first可以將重複資料拼接在一起，用一個物件中的值填充另一個物件中的缺失值。

我將分別對它們進行講解，並給出一些例子。本書剩餘部分的示例中將經常用到它們。

資料庫風格的DataFrame合併

資料集的合併（merge）或連線（join）運算是通過一個或多個鍵將行連線起來的。這些運算是關係型資料庫（基於SQL）的核心。pandas的merge函式是對資料應用這些演算法的主要切入點。

以一個簡單的例子開始：

df1 = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'a', 'b'], 'data1': range(7)})
df2 = pd.DataFrame({'key': ['a', 'b', 'd'], 'data2': range(3)})
df1
data1 key
0 0 b
1 1 b
2 2 a
3 3 c
4 4 a
5 5 a
6 6 b 
df2
data2 key
0 0 a
1 1 b
2 2 d

這是一種多對一的合併。df1中的資料有多個被標記為a和b的行，而df2中key列的每個值則僅對應一行。對這些物件呼叫merge即可得到：

pd.merge(df1,df2)
data1 key data2
0 0 b 1
1 1 b 1
2 6 b 1
3 2 a 0
4 4 a 0
5 5 a 0

注意，我並沒有指明要用哪個列進行連線。如果沒有指定，merge就會將重疊列的列名當做鍵。不過，最好明確指定一下：

pd.merge(df1,df2,on='key')
data1 key data2
0 0 b 1
1 1 b 1
2 6 b 1
3 2 a 0
4 4 a 0
5 5 a 0

如果兩個物件的列名不同，也可以分別進行指定：

df3 = pd.DataFrame({'lkey': ['b', 'b', 'a', 'c', 'a', 'a', 'b'],'data1': range(7)})
df4 = pd.DataFrame({'rkey': ['a', 'b', 'd'],'data2': range(3)})
df3
data1 lkey
0 0 b
1 1 b
2 2 a
3 3 c
4 4 a
5 5 a
6 6 b 
df4
data2 rkey
0 0 a
1 1 b
2 2 d 
pd.merge(df3,df4,left_on='lkey',right_on='rkey')
data1 lkey data2 rkey
0 0 b 1 b
1 1 b 1 b
2 6 b 1 b
3 2 a 0 a
4 4 a 0 a
5 5 a 0 a

可能你已經注意到了，結果裡面c和d以及與之相關的資料消失了。預設情況下，merge做的是“內連線”；結果中的鍵是交集。其他方式還有"left"、“right"以及"outer”。外連線求取的是鍵的並集，組合了左連線和右連線的效果：

pd.merge(df1,df2,how='outer')
data1 key data2
0 0.0 b 1.0
1 1.0 b 1.0
2 6.0 b 1.0
3 2.0 a 0.0
4 4.0 a 0.0
5 5.0 a 0.0
6 3.0 c NaN
7 NaN d 2.0

表8-1對這些選項進行了總結。

選項 說明
inner 使用兩個表都有的鍵
left 使用左表中所有的鍵
right 使用右表中所有的鍵
outer 使用兩個表中所有的鍵
表8-1 不同的連線型別

多對多的合併有些不直觀。看下面的例子：

df1 = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'b'],'data1': range(6)})
df2 = pd.DataFrame({'key': ['a', 'b', 'a', 'b', 'd'], 'data2': range(5)})
df1
data1 key
0 0 b
1 1 b
2 2 a
3 3 c
4 4 a
5 5 b 
df2
data2 key
0 0 a
1 1 b
2 2 a
3 3 b
4 4 d 
pd.merge(df1,df2,on='key',how='left')
data1 key data2
0 0 b 1.0
1 0 b 3.0
2 1 b 1.0
3 1 b 3.0
4 2 a 0.0
5 2 a 2.0
6 3 c NaN
7 4 a 0.0
8 4 a 2.0
9 5 b 1.0
10 5 b 3.0

多對多連線產生的是行的笛卡爾積。由於左邊的DataFrame有3個"b"行，右邊的有2個，所以最終結果中就有6個"b"行。連線方式隻影響出現在結果中的不同的鍵的值：

pd.merge(df1,df2,on='key',how='inner')
data1 key data2
0 0 b 1
1 0 b 3
2 1 b 1
3 1 b 3
4 5 b 1
5 5 b 3
6 2 a 0
7 2 a 2
8 4 a 0
9 4 a 2

要根據多個鍵進行合併，傳入一個由列名組成的列表即可：

left = pd.DataFrame({'key1': ['foo', 'foo', 'bar'],'key2': ['one', 'two', 'one'],'lval': [1, 2, 3]})
right = pd.DataFrame({'key1': ['foo', 'foo', 'bar', 'bar'], 'key2': ['one', 'one', 'one', 'two'], 'rval': [4, 5, 6, 7]})
left
key1 key2 lval
0 foo one 1
1 foo two 2
2 bar one 3 
right
key1 key2 rval
0 foo one 4
1 foo one 5
2 bar one 6
3 bar two 7 
pd.merge(left,right,on=['key1','key2'],how='outer')
key1 key2 lval rval
0 foo one 1.0 4.0
1 foo one 1.0 5.0
2 foo two 2.0 NaN
3 bar one 3.0 6.0
4 bar two NaN 7.0

結果中會出現哪些鍵組合取決於所選的合併方式，你可以這樣來理解：多個鍵形成一系列元組，並將其當做單個連線鍵（當然，實際上並不是這麼回事）。

注意：在進行列－列連線時，DataFrame物件中的索引會被丟棄。

對於合併運算需要考慮的最後一個問題是對重複列名的處理。雖然你可以手工處理列名重疊的問題（檢視前面介紹的重新命名軸標籤），但merge有一個更實用的suffixes選項，用於指定附加到左右兩個DataFrame物件的重疊列名上的字串：

pd.merge(left,right,on='key1')
key1 key2_x lval key2_y rval
0 foo one 1 one 4
1 foo one 1 one 5
2 foo two 2 one 4
3 foo two 2 one 5
4 bar one 3 one 6
5 bar one 3 two 7 
pd.merge(left,right,on='key1',suffixes=['_left','_right'])
key1 key2_left lval key2_right rval
0 foo one 1 one 4
1 foo one 1 one 5
2 foo two 2 one 4
3 foo two 2 one 5
4 bar one 3 one 6
5 bar one 3 two 7

merge的引數請參見表8-2。使用DataFrame的行索引合併是下一節的主題。

表8-2 merge函式的引數
引數 說明
left 參與合併的左側 Data Frame
right 參與合併的右側 Data Frame
how ＂inner＂，＂outer＂、＂left＂、 ＂right＂其中之ー。認為inner
on 用於連線的列名。必須存在於左右兩個 Data Frame物件中。如果未指定，且其他連線鍵也未指定，則以left和right列名的交集作為連線鍵
left_on 左側 Data Frame中用作連線健的列
right_on 右側 Dataframe r中用作連線鍵的列
left_index 將左側的行索引用作其連線鍵
right_index 類似於 left_ndex
sort 根據連線健對合並後的資料進行排序，預設為True，有時在處理大資料集時，禁用該選項可獲得更好的效能
suffixes 字串值元組，用於追加到重複列名的末尾，預設為（’_x’，’_y’）。例如,如果左右兩個 Dataframe物件都有＂data”，則結果中就會出現’data_x’和’data_y’
copy 設定為 False，可以在某些特殊情況下避免將資料複製到結果資料結構中。預設總是複製
indicator 新增特殊的列_merge，它可以指明每個行的來源，它的值有left_only、right_only或both，根據每行的合併資料的來源。

索引上的合併

有時候，DataFrame中的連線鍵位於其索引中。在這種情況下，你可以傳入left_index=True或right_index=True（或兩個都傳）以說明索引應該被用作連線鍵：

left1 = pd.DataFrame({'key': ['a', 'b', 'a', 'a', 'b', 'c'],'value': range(6)})
right1 = pd.DataFrame({'group_val': [3.5, 7]}, index=['a', 'b'])
left1

相關推薦

資料基礎---《利用Python進行資料分析·第2版》第8章 資料規整：聚合、合併和重塑

之前自己對於numpy和pandas是要用的時候東學一點西一點，直到看到《利用Python進行資料分析·第2版》，覺得只看這一篇就夠了。非常感謝原博主的翻譯和分享。 在許多應用中，資料可能分散在許多檔案或資料庫中，儲存的形式也不利於分析。本章關注可以聚合、合併、重塑資料的方法。 首先

第八篇2 資料規整：聚合、合併和重塑

在許多應⽤中，資料可能分散在許多⽂件或資料庫中，儲存的形式也不利於分析。本章關注可以聚合、合併、重塑資料的⽅法。⾸先，介紹pandas的層次化索引，它⼴泛⽤於以上操作。然後，深⼊介紹了⼀些特殊的資料操作。 一、層次化索引 層次化索引（hierarchical indexing）是pandas的⼀項重要

ch8_01 資料規整：聚合、合併、重塑

在許多應用中，資料可能分散在許多檔案或資料庫中，儲存的形式也不利於分析。本章關注可以聚合、合併、重塑資料的方法。 import pandas as pd import numpy as np 8

《計算機演算法設計與分析 第2版+第3版+第4版 (王曉東) 》原書附答案pdf版電子書附下載連結+30個總結JVM虛擬機器的技術文排版好（收藏版）

技術書閱讀方法論 一.速讀一遍（最好在1~2天內完成） 人的大腦記憶力有限，在一天內快速看完一本書會在大腦裡留下深刻印象，對於之後複習以及總結都會有特別好的作用。 對於每一章的知識，先閱讀標題，弄懂大概講的是什麼主題，再去快速看一遍，不懂也沒有關係，但是一定要在不懂的

資料規整：連線、聯合與重塑

1.1分層索引 分層索引是pandas的重要特性，允許你在一個軸向上擁有多個（兩個或兩個以上）索引層級。籠統地說，分層索引提供了一種在更低維度的形式中處理更高維度資料的方式。先建立一個Series，以列表的列表（或陣列）作為索引： data=pd.Series(np.random.r

JavaScript DOM程式設計藝術（第2版）第二章 語法

一.變數 把值存在變數的操作——賦值 JavaScript可以直接對變數賦值而不需事先宣告。 如果在對某個變數賦值前沒有宣告，賦值操作會自動宣告該變數。var age; JavaScript中變數不能包含空格或標點符號 變數可以使用駝峰命名 二.資料型別 1.必須明確型別宣告

算法競賽入門經典第2版 第1章

計算 const 解決問題 pause 會有 return 數學 getchar() scanf 學習目標： 　　熟悉C語言程序的編譯和運行 　　學會編程計算並輸出常見的算術表達式的結果 　　掌握整數和浮點數的含義和輸出方法、聲明方法、讀入方法 　　掌握數學函數的使用方法

演算法競賽入門經典第2版 第2章 迴圈結構

學習目標 　　掌握for迴圈、while迴圈、do-while迴圈的使用方法 　　學會使用計數器和累加器 　　學會用輸出中間結果的方法除錯 　　學會用計時函式測試程式效率 　　學會用重定向、fopen的方式讀寫檔案 　　瞭解演算法競賽對檔案讀寫方式和命名的嚴格性 　　記住變數在賦值之前的值是不確

《演算法競賽入門經典》（第2版）第二章習題

本文部分習題參考了litiouslove的blog: http://blog.csdn.net/litiouslove/article/details/7891700 習題2-1　水仙花數（daffodil） 輸出100～999中的所有水仙花數。若3位數ABC滿足ABC＝A3＋B3＋

《演算法競賽入門經典》（第2版）第一章 部分實驗題

1.5.2資料型別實驗 實驗A1：表示式11111*11111的值是多少？把5個1改成6個1呢？9個1呢？ 實驗A2：把實驗A1中的所有數換成浮點數，結果如何？ 實驗A3：表示式sqrt（-10）的值是多少？嘗試用各種方式輸出。在計算的過程中系統會報錯嗎？ 實驗A4：表示式1.0/

《計算機視覺-一種現代方法（第2版）》讀書筆記三：早期視覺（一幅影象）

本篇思維導圖 線性濾波器 線性濾波器的主要策略是用不同的加權模式計算畫素加權和，以尋找不同的影象模式 1.線性濾波和卷積 二維卷積公式：Rij=∑u,vHi−u,j−vFu,v,使用卷積核H將圖像F卷積到域R 幾種常見的線性濾波：平均平滑、

《計算機視覺-一種現代方法（第2版）》讀書筆記四：中層視覺

本篇思維導圖 注：中層視覺主要關注的是影象中的幾何結構以及特定物件和目標，應用領域包括目標分割和跟蹤 通過聚類分割 分割的目的是為了得到一幅圖片中有用部分的一個精簡的表示，其具體的理論和方法取決於應用的需求 1 人類視覺：分類和格式塔(Gesta

《計算機視覺-一種現代方法（第2版）》讀書筆記一：導論大綱

前言 作為CV（Computer Vision）方向的研究生，一直想要系統地瞭解和學習一下CV的基本知識，理清CV發展的脈絡。而David Forsyth的《Computer Vision-A Modern Approach(2nd edition)》是CV領

《計算機視覺-一種現代方法（第2版）》讀書筆記五：高層視覺

本篇思維導圖影象配準(Registration)1.配準剛性物體變換：旋轉(rotation)、平移(translation)、縮放(scale) ∑i[(sR(θ)xi+t)−yc(i)]2∑i[(sR(θ)xi+t)−yc(i)]2迭代最近點：通過估計對應點尋找正確的變換

資料基礎---《利用Python進行資料分析·第2版》第12章 pandas高階應用

之前自己對於numpy和pandas是要用的時候東學一點西一點，直到看到《利用Python進行資料分析·第2版》，覺得只看這一篇就夠了。非常感謝原博主的翻譯和分享。 前面的章節關注於不同型別的資料規整流程和NumPy、pandas與其它庫的特點。隨著時間的發展，pandas發展出了更多適

資料基礎---《利用Python進行資料分析·第2版》第6章 資料載入、儲存與檔案格式

之前自己對於numpy和pandas是要用的時候東學一點西一點，直到看到《利用Python進行資料分析·第2版》，覺得只看這一篇就夠了。非常感謝原博主的翻譯和分享。 訪問資料是使用本書所介紹的這些工具的第一步。我會著重介紹pandas的資料輸入與輸出，雖然別的庫中也有不少以此為目的的工具

資料基礎---《利用Python進行資料分析·第2版》第4章 NumPy基礎：陣列和向量計算

之前自己對於numpy和pandas是要用的時候東學一點西一點，直到看到《利用Python進行資料分析·第2版》，覺得只看這一篇就夠了。非常感謝原博主的翻譯和分享。 NumPy（Numerical Python的簡稱）是Python數值計算最重要的基礎包。大多數提供科學計算的包都是用Nu

資料基礎---《利用Python進行資料分析·第2版》第11章 時間序列

之前自己對於numpy和pandas是要用的時候東學一點西一點，直到看到《利用Python進行資料分析·第2版》，覺得只看這一篇就夠了。非常感謝原博主的翻譯和分享。 時間序列（time series）資料是一種重要的結構化資料形式，應用於多個領域，包括金融學、經濟學、生態學、神經科學、物

資料基礎---《利用Python進行資料分析·第2版》第10章 資料聚合與分組運算

之前自己對於numpy和pandas是要用的時候東學一點西一點，直到看到《利用Python進行資料分析·第2版》，覺得只看這一篇就夠了。非常感謝原博主的翻譯和分享。 對資料集進行分組並對各組應用一個函式（無論是聚合還是轉換），通常是資料分析工作中的重要環節。在將資料集載入、融合、準備好之

資料基礎---《利用Python進行資料分析·第2版》第7章 資料清洗和準備

之前自己對於numpy和pandas是要用的時候東學一點西一點，直到看到《利用Python進行資料分析·第2版》，覺得只看這一篇就夠了。非常感謝原博主的翻譯和分享。 在資料分析和建模的過程中，相當多的時間要用在資料準備上：載入、清理、轉換以及重塑。這些工作會佔到分析師時間的80%或更多。

key value
0 a 0
1 b 1
2 a 2
3 a 3
4 b 4
5 c 5