一、缺失值的處理方法

      由於各種各樣的原因，真實世界中的許多資料集都包含缺失資料，這些資料經常被編碼成空格、nans或者是其他的佔位符。但是這樣的資料集並不能被scikit - learn演算法相容，因為大多數的學習演算法都會預設陣列中的元素都是數值，因此素偶有的元素都有自己的代表意義。

       使用不完整的資料集的一個基本策略就是捨棄掉整行或者整列包含缺失值的數值，但是這樣處理會浪費大量有價值的資料。下面是處理缺失值的常用方法：

1.忽略元組

當缺少類別標籤時通常這樣做（假定挖掘任務涉及分類時），除非元組有多個屬性缺失值，否則該方法不是很有效。當每個屬性缺少值的百分比變化很大時，它的效能特別差。

2.人工填寫缺失值

一般該方法很費時，並且當資料集很大，缺少很多值時，該方法可能行不通。

3.使用一個全域性常量填充缺失值

將缺失的屬性值用同一個常數(如“Unknown”或 負無窮)替換。如果缺失值都用“unknown”替換，則挖掘程式可能會認為它們形成一個有趣的概念，因為它們都具有相同的值“unknown”。因此，雖然該方法很簡單，但是它十分不可靠。

4.使用與給定元組屬同一類的所有樣本的屬性均值

例如：將顧客按照credit_risk分類，則使用具有相同信用度的給定元組的顧客的平均收入替換income中的缺失值。

5.使用最可能的值填充缺失值

可以用迴歸、使用貝葉斯形式化的基於推理的工具或決策樹歸納確定。例如，利用資料集中其他顧客的屬性，可以構造一顆決策樹來預測income的缺失值。

注意：缺失值並不總是意味著資料的錯誤！！！！！！！

二、缺失值處理的程式碼實現

         class:`Imputer`類提供了缺失數值處理的基本策略，比如使用缺失數值所在行或列的均值、中位數、眾數來替代缺失值。該類也相容不同的缺失值編碼。

1、使用均值填充缺失值

import numpy as np

from sklearn.preprocessing import Imputer

imp = Imputer(missing_values='NaN', strategy='mean', axis=0)

import numpy as np
from sklearn.preprocessing import Imputer

###1.使用均值填充缺失值
imp = Imputer(missing_values='NaN', strategy='mean', axis=0)
imp.fit([[1, 2], [np.nan, 3], [7, 6]])

X = [[np.nan, 2], [6, np.nan], [7, 6]]
print(imp.transform(X))  
[[4.         2.        ]
 [6.         3.66666667]
 [7.         6.        ]]
 

2、Imputer 類也支援稀疏矩陣:

import scipy.sparse as sp
X = sp.csc_matrix([[1, 2], [0, 3], [7, 6]])
imp = Imputer(missing_values=0, strategy='mean', axis=0)
imp.fit(X)

X_test = sp.csc_matrix([[0, 2], [6, 0], [7, 6]])
print(imp.transform(X_test))  

#注意，在這裡，缺失資料被編碼為0, 這種方式用在當缺失資料比觀察資料更多的情況時是非常合適的。