Python for Data Science - Treating missing values

阿新 • • 發佈：2021-01-02

Chapter 2 - Data Preparation Basics

Segment 2 - Treating missing values

import numpy as np
import pandas as pd 

from pandas import Series, DataFrame

Figuring out what data is missing

missing = np.nan

series_obj = Series(['row 1','row 2',missing,'row 4','row 5','row 6',missing,'row 8'])
series_obj

0    row 1
1    row 2
2      NaN
3    row 4
4    row 5
5    row 6
6      NaN
7    row 8
dtype: object

series_obj.isnull()

0    False
1    False
2     True
3    False
4    False
5    False
6     True
7    False
dtype: bool

Filling in for missing values

np.random.seed(25)
DF_obj = DataFrame(np.random.rand(36).reshape(6,6))
DF_obj

	0	1	2	3	4	5
0	0.870124	0.582277	0.278839	0.185911	0.411100	0.117376
1	0.684969	0.437611	0.556229	0.367080	0.402366	0.113041
2	0.447031	0.585445	0.161985	0.520719	0.326051	0.699186
3	0.366395	0.836375	0.481343	0.516502	0.383048	0.997541
4	0.514244	0.559053	0.034450	0.719930	0.421004	0.436935
5	0.281701	0.900274	0.669612	0.456069	0.289804	0.525819

DF_obj.loc[3:5, 0] = missing
DF_obj.loc[1:4, 5] = missing
DF_obj

	0	1	2	3	4	5
0	0.870124	0.582277	0.278839	0.185911	0.411100	0.117376
1	0.684969	0.437611	0.556229	0.367080	0.402366	NaN
2	0.447031	0.585445	0.161985	0.520719	0.326051	NaN
3	NaN	0.836375	0.481343	0.516502	0.383048	NaN
4	NaN	0.559053	0.034450	0.719930	0.421004	NaN
5	NaN	0.900274	0.669612	0.456069	0.289804	0.525819

filled_DF = DF_obj.fillna(0)
filled_DF

	0	1	2	3	4	5
0	0.870124	0.582277	0.278839	0.185911	0.411100	0.117376
1	0.684969	0.437611	0.556229	0.367080	0.402366	0.000000
2	0.447031	0.585445	0.161985	0.520719	0.326051	0.000000
3	0.000000	0.836375	0.481343	0.516502	0.383048	0.000000
4	0.000000	0.559053	0.034450	0.719930	0.421004	0.000000
5	0.000000	0.900274	0.669612	0.456069	0.289804	0.525819

filled_DF = DF_obj.fillna({0:0.1, 5:1.25})
filled_DF

	0	1	2	3	4	5
0	0.870124	0.582277	0.278839	0.185911	0.411100	0.117376
1	0.684969	0.437611	0.556229	0.367080	0.402366	1.250000
2	0.447031	0.585445	0.161985	0.520719	0.326051	1.250000
3	0.100000	0.836375	0.481343	0.516502	0.383048	1.250000
4	0.100000	0.559053	0.034450	0.719930	0.421004	1.250000
5	0.100000	0.900274	0.669612	0.456069	0.289804	0.525819

fill_DF = DF_obj.fillna(method='ffill')
fill_DF

	0	1	2	3	4	5
0	0.870124	0.582277	0.278839	0.185911	0.411100	0.117376
1	0.684969	0.437611	0.556229	0.367080	0.402366	0.117376
2	0.447031	0.585445	0.161985	0.520719	0.326051	0.117376
3	0.447031	0.836375	0.481343	0.516502	0.383048	0.117376
4	0.447031	0.559053	0.034450	0.719930	0.421004	0.117376
5	0.447031	0.900274	0.669612	0.456069	0.289804	0.525819

Counting missing values

np.random.seed(25)
DF_obj = DataFrame(np.random.rand(36).reshape(6,6))
DF_obj.loc[3:5, 0] = missing
DF_obj.loc[1:4, 5] = missing
DF_obj

	0	1	2	3	4	5
0	0.870124	0.582277	0.278839	0.185911	0.411100	0.117376
1	0.684969	0.437611	0.556229	0.367080	0.402366	NaN
2	0.447031	0.585445	0.161985	0.520719	0.326051	NaN
3	NaN	0.836375	0.481343	0.516502	0.383048	NaN
4	NaN	0.559053	0.034450	0.719930	0.421004	NaN
5	NaN	0.900274	0.669612	0.456069	0.289804	0.525819

DF_obj.isnull().sum()

0    3
1    0
2    0
3    0
4    0
5    4
dtype: int64

Filtering out missing values

DF_no_NaN = DF_obj.dropna()
DF_no_NaN

	0	1	2	3	4	5
0	0.870124	0.582277	0.278839	0.185911	0.4111	0.117376

DF_no_NaN = DF_obj.dropna(axis=1)
DF_no_NaN

	1	2	3	4
0	0.582277	0.278839	0.185911	0.411100
1	0.437611	0.556229	0.367080	0.402366
2	0.585445	0.161985	0.520719	0.326051
3	0.836375	0.481343	0.516502	0.383048
4	0.559053	0.034450	0.719930	0.421004
5	0.900274	0.669612	0.456069	0.289804

Python for Data Science - Treating missing values

Chapter 2 - Data Preparation Basics Segment 2 - Treating missing values import numpy as np import pandas as pd

Python for Data Science - Filtering and selecting data

Chapter 2 - Data Preparation Basics Segment 1 - Filtering and selecting data import numpy as np import pandas as pd

Python for Data Science - Removing duplicates

Chapter 2 - Data Preparation Basics Segment 3 - Removing duplicates import numpy as np import pandas as pd

Python for Data Science - Concatenating and transforming data

Chapter 2 - Data Preparation Basics Segment 4 - Concatenating and transforming data import numpy as np import pandas as pd

Python for Data Science - Creating standard data graphics

Chapter 4 - Practical Data Visualization Segment 1 - Creating standard data graphics import numpy as np

Python for Data Science - Defining elements of a plot

Chapter 4 - Practical Data Visualization Segment 2 - Defining elements of a plot import numpy as np from numpy.random import randn

Python for Data Science - Using NumPy to perform arithmetic operations on data

Chapter 5 - Basic Math and Statistics Segment 1 - Using NumPy to perform arithmetic operations on data

Python for Finance: Data Visualization

https://www.mlq.ai/python-for-finance-data-visualization/ Data visualization is an essential step in quantitative analysis with Python.

Python for迴圈與getitem的關係詳解

這篇文章主要介紹了Python for迴圈與getitem的關係詳解,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Python for i in range ()用法詳解

for i in range ()作用： range()是一個函式， for i in range () 就是給i賦值：比如 for i in range （1，3）：

Python for迴圈及基礎用法詳解

Python 中的迴圈語句有 2 種，分別是 while 迴圈和 for 迴圈，前面章節已經對 while 做了詳細的講解，本節給大家介紹 for 迴圈，它常用於遍歷字串、列表、元組、字典、集合等序列型別，逐個獲取序列中的各個元素。

Python for迴圈通過序列索引迭代過程解析

這篇文章主要介紹了Python for迴圈通過序列索引迭代過程解析,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Python for迴圈搭配else常見問題解決

這篇文章主要介紹了Python for迴圈搭配else常見問題解決,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Python-for迴圈的內部機制

Python中，使用for迴圈可以迭代容器物件中的元素，這裡容器物件包括是列表（list）、元組（tuple）、字典（dict）、集合（set）等。但是，為什麼這些物件可以使用for迴圈進行操作呢？

Python for 迴圈語句

Pythonfor 迴圈語句 Python for迴圈可以遍歷任何序列的專案，如一個列表或者一個字串。高傭聯盟www.cgewang.com

Python for迴圈語句

for迴圈 1.for迴圈可以遍歷任意序列，例如：一個字串，一個列表遍歷，就是檢視序列中的每個元素（for迴圈、遍歷、迭代，是自動播放所有序列當中的元素）

[資料分析-資料探勘]BI-data analytics-data science

*資料分析**是一個相當廣的領域，其中包含了資料科學。資料科學是最近比較火的一個名詞，與傳統的資料分析相比都是從資料中找到知識和見解，只是在使用的技能和方式下有一定差異。並不是所有的資料分析都是

《SLIQ：A fast scalable classifier for data mining》論文筆記

1 簡介本文根據1996年《SLIQ：A fast scalable classifier for data mining》翻譯總結的，即一個快速的可擴充套件的資料探勘分類器。看了論文，論文中沒找到SLIQ的縮寫，還不清楚為什麼這麼叫。

python-for表示式

　　for表示式用於其他區間，元組，列表等可迭代物件建立新的列表 [表示式　for 迴圈計數器　in 可迭代物件]

python - LOAD DATA LOCAL INFILE批量匯入資料到mysql

最近正好要學習TPC-DS, 需要用到批量匯入資料。這裡用到了mysql自帶的LOAD DATA LOCAL INFILE來匯入資料。

Python for Data Science - Treating missing values

Chapter 2 - Data Preparation Basics

Segment 2 - Treating missing values

Figuring out what data is missing

Filling in for missing values

Counting missing values

Filtering out missing values

相關推薦