import pandas as pd
import numpy as np
from numpy import nan as NaN

• 1
• 2
• 3

濾除缺失資料

pandas的設計目標之一就是使得處理缺失資料的任務更加輕鬆些。pandas使用NaN作為缺失資料的標記。

使用dropna使得濾除缺失資料更加得心應手。

一、處理Series物件

• 通過dropna()濾除缺失資料：

se1=pd.Series([4,NaN,8,NaN,5])
print(se1)
se1.dropna()

• 1
• 2
• 3

程式碼結果：

0    4.0
1    NaN
2    8.0
3    NaN
4    5.0
dtype: float64

0    4.0
2    8.0
4    5.0
dtype: float64
 

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

• 通過布林序列也能濾除：

se1[se1.notnull()]

• 1

程式碼結果：

0    4.0
2    8.0
4    5.0
dtype: float64

• 1
• 2
• 3
• 4
• 5

二、處理DataFrame物件

處理DataFrame物件比較複雜，因為你可能需要丟棄所有的NaN或部分NaN。

df1=pd.DataFrame([[1,2,3],[NaN,NaN,2],[NaN,NaN,NaN],[8,8,NaN]])
df1

• 1
• 2

• 預設濾除所有包含NaN：

df1.dropna()

• 1

• 傳入how=’all’
  濾除全為NaN的行：

df1.dropna(how='all')

• 1

• 傳入axis=1濾除列：

df1[3]=NaN
df1

• 1
• 2

df1.dropna(axis=1,how="all")

• 1

• 傳入thresh=n濾除n行：

df1.dropna(thresh=1)

• 1

df1.dropna(thresh=3
 
)

• 1