《Python for Data Analysis》

NA處理方法

濾除缺失資料（dropna）

Series

In [1]: import pandas as pd

In [2
 
]: from pandas import DataFrame, Series

In [3]: import numpy as np

In [4]: from numpy import nan as NA

In [5]: data = Series([1, NA, 3.5, NA, 7])

In [6]: data.dropna()
Out[6]:
0    1.0
2    3.5
4    7.0
dtype: float64

In [7]: data[data.notnull()]
Out[7]:
0    1.0
2    3.5
4    7.0
dtype: float64

DataFrame

• DataFrame中dropna預設丟棄任何含有缺失值的行。

• 傳入how=’all’將只丟棄全為NA的行

• 如果想丟棄列，只需傳入axis=1

填充缺失資料（fillna）!!

• 常數呼叫df.fillna(0)
• 字典呼叫，對不同的列填充不同的值df.fillna({1:0.5, 3:-1})
• fillna預設會返回新物件！！，就地修改： _ = df.fillna(0, inplace=True)
• 對reindex有效的插值方法也可用於fillna

替換值

利用fillna方法填充缺失資料可以看做值替換的一種特殊情況。而replace則提供了一種實現該功能的更簡單、更靈活的方式。

In [11]: data = Series([1.,-999.,2.,-999.,-1000.,3.])

In [12]: data
Out[12]:
0       1.0
1    -999.0
2       2.0
3    -999.0
4   -1000.0
5       3.0
dtype: float64

In [13]: data.replace(-999, np.nan)
Out[13]:
0       1.0
1       NaN
2       2.0
3       NaN
4   -1000.0
5       3.0
dtype: float64

In [14]: data.replace([-999,-1000], np.nan)
Out[14]:
0    1.0
1    NaN
2    2.0
3    NaN
4    NaN
5    3.0
dtype: float64

In [15]: data.replace([-999,-1000], [np.nan,0])
Out[15]:
0    1.0
1    NaN
2    2.0
3    NaN
4    0.0
5    3.0
dtype: float64

In [16]: data.replace({-999 : np.nan, -1000 : 0})
Out[16]:
0    1.0
1    NaN
2    2.0
3    NaN
4    0.0
5    3.0
dtype: float64