1. 程式人生 > >pandas的資料結構

pandas的資料結構

要使用pandas,需要熟悉它的兩個主要的資料結構,Series和DataFrame。

Series

series是一種類似於以為陣列的物件,它由一組資料(各種numpy的資料型別)以及一組與之相關的資料標籤(索引)組成。僅有一組資料即可產生簡單的Series:

In [11]: from pandas import Series,DataFrame

In [12]: import pandas as pd

In [13]: obj=Series([4,-2,5,0])

In [14]: obj
Out[14]:
0    4
1   -2
2    5
3    0
dtype: int64

In [
15]: type(obj) Out[15]: pandas.core.series.Series

series的字串表現形式為:索引在左邊,值在右邊。由於我們沒有為資料指定索引,於是自動建立 一個0到N-1(N為資料的長度)的整數型索引。可以通過Series的values和index屬性獲取其陣列表現形式和索引物件:

In [16]: obj.values
Out[16]: array([ 4, -2,  5,  0], dtype=int64)

In [17]: obj.index
Out[17]: RangeIndex(start=0, stop=4, step=1)

通常,我們希望所建立的Series帶有一個可以對各個資料點進行標記的索引:

In [18]: obj2=Series([4,7,5,-3],index=['d','b','a','c'])

In [19]: obj2
Out[19]:
d    4
b    7
a    5
c   -3
dtype: int64

In [20]: obj2.index
Out[20]: Index(['d', 'b', 'a', 'c'], dtype='object')

於普通numpy相比,你可以通過索引的方式選取Series的單個或一組值

In [21]: obj2['
a'] Out[21]: 5 In [22]: obj2['d']=6 In [23: obj2[['c','a','d']] Out[23: c -3 a 5 d 6 dtype: int64

numpy陣列運算都會保留索引與值之間的連結:

In [26]: obj2[obj2>0]
Out[26]:
d    6
b    7
a    5
dtype: int64

In [27]: obj2*2
Out[27]:
d    12
b    14
a    10
c    -6
dtype: int64

In [28]: np.exp(obj2)
Out[28]:
d     403.428793
b    1096.633158
a     148.413159
c       0.049787
dtype: float64

還可以將Series看成一個定長的有序字典,因為它是索引值到資料值的一個對映。它可以在許多原本需要字典引數的函式中:

In [29]: 'b' in obj2
Out[29]: True

In [30]: 'e' in obj2
Out[30]: False

如果資料被存放在一個Python字典中,也可以直接通過這個字典來建立:

In [32]: sdata={'a':1,'b':2,'c':3}

In [33]: obj3=Series(sdata)

In [34]: obj3
Out[34]:
a    1
b    2
c    3
dtype: int64

如果只傳入一個字典,則結果series中的索引就是原字典的鍵(有序排列)

In [41]: states=['one','a','b']

In [42]: obj4=Series(sdata,index=states)

In [43]: obj4
Out[43]:
one    NaN
a      1.0
b      2.0
dtype: float64

例子中sdata中的states索引相匹配的那2個值會被找出來並放到相應的位置上。找不到的則用缺失值Na表示。

pandas中的isnull和notnull可用於檢測缺失資料:

In [44]: pd.isnull(obj4)
Out[44]:
one     True
a      False
b      False
dtype: bool

In [45]: pd.notnull(obj4)
Out[45]:
one    False
a       True
b       True
dtype: bool

series中也有類似的例項方法:

In [46]: obj4.isnull()
Out[46]:
one     True
a      False
b      False
dtype: bool

Series中最重要的一個功能是:它在算術運算中會自動對齊不同索引的資料。

In [47]: obj3
Out[47]:
a    1
b    2
c    3
dtype: int64

In [48]: obj4
Out[48]:
one    NaN
a      1.0
b      2.0
dtype: float64

In [49]: obj3+obj4
Out[49]:
a      2.0
b      4.0
c      NaN
one    NaN
dtype: float64

series物件本身及其索引都有一個name屬性,該屬性跟pandas其他關鍵功能關係非常密切:

In [50]: obj4.name='pop4'

In [51]: obj4.index.name='state4'

In [52]: obj4
Out[52]:
state4
one    NaN
a      1.0
b      2.0
Name: pop4, dtype: float64

series索引可以通過賦值的方式就地修改:

In [53]: obj
Out[53]:
0    4
1   -2
2    5
3    0
dtype: int64

In [54]: obj.index=['a','b','c','d']

In [55]: obj
Out[55]:
a    4
b   -2
c    5
d    0
dtype: int64

DataFrame

DataFrame是一個表格型資料結構。它含有一組有序的列,每列可以是不同的值型別(數值、字串、布林值等)。DataFrame即可有行索引也可以有列索引,它可以被看做是由Series組成的字典(共同一個索引)跟其他的類似的資料結構相比,DataFrame中面向行和麵向列的操作基本上是平衡的。其實,DataFrame中資料是以一個或多個二維塊存放的。

構建DataFrame最常見的方法是直接傳入一個等長列表或numpy陣列組成的字典:

In [65]: data={'state':[True,True,False,True,False],'year':[2000,2001,2002,2003,2004]}

In [66]: data
Out[66]:
{'state': [True, True, False, True, False],
 'year': [2000, 2001, 2002, 2003, 2004]}

In [67]: frame=DataFrame(data)

In [68]: frame
Out[68]:
   state  year
0   True  2000
1   True  2001
2  False  2002
3   True  2003
4  False  2004

如果指定了列序列,則DataFrame的列就會按照指定順序進行排列:

In [69]: DataFrame(data,columns=['year','state'])
Out[69]:
   year  state
0  2000   True
1  2001   True
2  2002  False
3  2003   True
4  2004  False

跟series一樣,如果傳入的列在資料中找不到就會產生NA值。

通過類似字典標記的方式或屬性的方式,可以將DataFrame的列獲取為一個Series:

In [70]: frame['state']
Out[70]:
0     True
1     True
2    False
3     True
4    False
Name: state, dtype: bool

In [71]: frame['year']
Out[71]:
0    2000
1    2001
2    2002
3    2003
4    2004
Name: year, dtype: int64

In [72]: type(frame['year'])
Out[72]: pandas.core.series.Series

返回的series擁有DataFrame相同的索引,且其name屬性也已經被相應的設定好了 。

列可以通過賦值的方式進行修改,如我們增加一列‘debt’,賦上一個標量值或一組值:

In [77]: frame['debt']=16.25

In [78]: frame
Out[78]:
   state  year   debt
0   True  2000  16.25
1   True  2001  16.25
2  False  2002  16.25
3   True  2003  16.25
4  False  2004  16.25

 In [79]: frame['debt']=np.arange(5)  In [80]: frame
 Out[80]:
    state  year  debt
 0   True  2000     0
 1   True  2001     1
 2  False  2002     2
 3   True  2003     3
 4  False  2004     4

將列表或陣列賦值給某一列時,長度必須要跟DataFrame的長度相匹配。如果賦值的是一個Series,就會精匹配DataFrame的索引,所有空位都會被填上預設值:

In [85]: frame
Out[85]:
       state  year  debt  
one     True  2000     0   
two     True  2001     1    
three  False  2002     2   
four    True  2003     3    
five   False  2004     4    

In [86]: val=Series([-1.2,-1.5,-1.7],index=['one','two','three'])

In [87]: frame['debt2']=val

In [88]: frame
Out[88]:
       state  year  debt  debt2
one     True  2000     0   -1.2
two     True  2001     1   -1.5
three  False  2002     2   -1.7
four    True  2003     3    NaN
five   False  2004     4    NaN

為不存在的列賦值會創出一個心裂,關鍵字del用於刪除列

In [92]: del frame['state1']

In [93]: frame
Out[93]:
       state  year  debt  debt2
one     True  2000     0   -1.2
two     True  2001     1   -1.5
three  False  2002     2   -1.7
four    True  2003     3    NaN
five   False  2004     4    NaN

另一種常見的資料形式的巢狀字典:

In [94]: pop={'year':{2001:1.5,2002:1.6,2007:2},'prices':{2001:2.5,2002:3}}

如果將它傳給DataFrame,它就會被解釋為:外層的字典作為鍵的關鍵列,內層的則作為行索引:

In [95]: frame3=DataFrame(pop)

In [96]: frame3
Out[96]:
      year  prices
2001   1.5     2.5
2002   1.6     3.0
2007   2.0     NaN

可以對結果進行轉置:

In [97]: frame3.T
Out[97]:
        2001  2002  2007
year     1.5   1.6   2.0
prices   2.5   3.0   NaN

內層的字典的鍵會被合併、排序以形成最終的索引。如果顯式指定了索引:

In [109]: frame3.index=[2001,2002,2003]

In [111]: frame3
Out[111]:
      year  prices
2001   1.5     2.5
2002   1.6     3.0
2003   2.0     NaN

可以輸入給DataFrame構造器的資料:

1.二維ndarry

2.由陣列、列表或元祖組成的字典

3.numpy結構化

4.Series組成的字典

5.由字典組成的字典

6.字典或series的列表

7.由列表或元祖組成的列表

8.另一個DataFrame

9.numpy的MaskedArray

如果設定了DataFrame的index和columns的name屬性,則這些資訊也會顯示出來

In [113]: frame3.index.name='year';frame3.columns.name='state'

In [114]: frame3
Out[114]:
state  year  prices
year
2001    1.5     2.5
2002    1.6     3.0
2003    2.0     NaN

索引物件