import pandas as pd
from pandas import DataFrame
import numpy as np

處理丟失資料

• 有兩種丟失資料：

  • None
  • np.nan(NaN)

• 兩種丟失資料的區別

type(None)

NoneType

type(np.nan)

float

• 為什麼在資料分析中需要用到的是浮點型別的空而不是物件型別？
  • 資料分析中會常常使用某些形式的運算來處理原始資料，如果原數資料中的空值為NAN的形式，則不會干擾或者中斷運算。
  • NAN可以參與運算的
  • None是不可以參與運算

np.nan + 1

nan

None + 1
 

---------------------------------------------------------------------------

TypeError                                 Traceback (most recent call last)

<ipython-input-5-3fd8740bf8ab> in <module>
----> 1 None + 1


TypeError: unsupported operand type(s) for +: 'NoneType' and 'int'

• 在pandas中如果遇到了None形式的空值則pandas會將其強轉成NAN的形式。

df = DataFrame(data=np.random.randint(0,100,size=(7,5)))
df.iloc[2,3] = None
df.iloc[4,2] = np.nan
df.iloc[5,4] = None
df

pandas處理空值操作

• isnull

• notnull

• any

• all

• dropna

• fillna

• 方式1：對空值進行過濾（刪除空所在的行資料）

  • 技術：isnull，notnull，any，all

df.isnull()

#哪些行中有空值
#any(axis=1)檢測哪些行中存有空值
df.isnull().any(axis=1) #any會作用isnull返回結果的每一行
#true對應的行就是存有缺失資料的行

0    False
1    False
2     True
3    False
4     True
5     True
6    False
dtype: bool

df.notnull()

df.notnull().all(axis=1)

0     True
1     True
2    False
3     True
4    False
5    False
6     True
dtype: bool

#將布林值作為源資料的行索引
df.loc[df.notnull().all(axis=1)]

#獲取空對應的行資料
df.loc[df.isnull().any(axis=1)]
#獲取空對應行資料的行索引
indexs = df.loc[df.isnull().any(axis=1)].index
indexs

Int64Index([2, 4, 5], dtype='int64')

df.drop(labels=indexs,axis=0)

• 方式2：
  • dropna：可以直接將缺失的行或者列進行刪除

df.dropna(axis=0)

• 對缺失值進行覆蓋
  • fillna

df.fillna(value=999) #使用指定值將源資料中所有的空值進行填充

#使用空的近鄰值進行填充
#method=ffill向前填充，bfill向後填充 axis=o 列填充
df.fillna(axis=0,method='bfill')

• 什麼時候用dropna什麼時候用fillna

  • 儘量使用dropna，如果刪除成本比較高，則使用fillna

• 使用空值對應列的均值進行空值填充

for col in df.columns:
    #檢測哪些列中存有空值
    if df[col].isnull().sum() > 0:#說明df[col]中存有空值
        mean_value = df[col].mean()
        df[col] = df[col].fillna(value=mean_value)

例項：

• 資料說明：

  • 資料是1個冷庫的溫度資料，1-7對應7個溫度採集裝置，1分鐘採集一次。

• 資料處理目標：

  • 用1-4對應的4個必須裝置，通過建立冷庫的溫度場關係模型，預估出5-7對應的資料。
  • 最後每個冷庫中僅需放置4個裝置，取代放置7個裝置。
  • f(1-4) --> y(5-7)

• 資料處理過程：

  • 1、原始資料中有丟幀現象，需要做預處理；
  • 2、matplotlib 繪圖；
  • 3、建立邏輯迴歸模型。

• 無標準答案，按個人理解操作即可，請把自己的操作過程以文字形式簡單描述一下，謝謝配合。

• 測試資料為testData.xlsx

data = pd.read_excel('./data/testData.xlsx').drop(labels=['none','none1'],axis=1)
data

1060 rows × 8 columns

data.shape

(1060, 8)

#刪除空對應的行資料
data.dropna(axis=0).shape

(927, 8)

#填充
data.fillna(method='ffill',axis=0).fillna(method='bfill',axis=0)

1060 rows × 8 columns

處理重複資料

df = DataFrame(data=np.random.randint(0,100,size=(8,6)))
df.iloc[1] = [1,1,1,1,1,1]
df.iloc[3] = [1,1,1,1,1,1]
df.iloc[5] = [1,1,1,1,1,1]
df

#檢測哪些行存有重複的資料
df.duplicated(keep='first')

0    False
1    False
2    False
3     True
4    False
5     True
6    False
7    False
dtype: bool

df.loc[~df.duplicated(keep='first')]

#非同步到位刪除
df.drop_duplicates(keep='first')

處理異常資料

• 自定義一個1000行3列（A，B，C）取值範圍為0-1的資料來源，然後將C列中的值大於其兩倍標準差的異常值進行清洗

df = DataFrame(data=np.random.random(size=(1000,3)),columns=['A','B','C'])
df.head()

#制定判定異常值的條件
twice_std = df['C'].std() * 2
twice_std

0.5664309886908782

df.loc[~(df['C'] > twice_std)]

573 rows × 3 columns