import pandas as pd
import numpy as np
from numpy import nan as NaN

濾除缺失資料

pandas的設計目標之一就是使得處理缺失資料的任務更加輕鬆些。pandas使用NaN作為缺失資料的標記。

使用dropna使得濾除缺失資料更加得心應手。

一、處理Series物件

• 通過dropna()濾除缺失資料：

se1=pd.Series([4,NaN,8,NaN,5])
print(se1)
se1.dropna()

程式碼結果：

0    4.0
1    NaN
2    8.0
3    NaN
4    5.0
dtype: float64

0    4.0
2    8.0
4    5.0
dtype: float64
 

• 通過布林序列也能濾除：

se1[se1.notnull()]

程式碼結果：

0    4.0
2    8.0
4    5.0
dtype: float64

二、處理DataFrame物件

處理DataFrame物件比較複雜，因為你可能需要丟棄所有的NaN或部分NaN。

df1=pd.DataFrame([[1,2,3],[NaN,NaN,2],[NaN,NaN,NaN],[8,8,NaN]])
df1

• 預設濾除所有包含NaN：

df1.dropna()

• 傳入how=’all’濾除全為NaN的行：

df1.dropna(how='all')

• 傳入axis=1濾除列：

df1[3]=NaN
df1

df1.dropna(axis=1,how="all")

• 傳入thresh=n濾除n行：

df1.dropna(thresh=1)

df1.dropna(thresh=3)

謝謝大家的瀏覽，
希望我的努力能幫助到您，
共勉！