機器學習之特徵工程-資料預處理
摘自 jacksu在簡書 機器學習之特徵工程-資料預處理
https://www.jianshu.com/p/23b493d38b5b
通過特徵提取,我們能得到未經處理的特徵,這時的特徵可能有以下問題:
- 不屬於同一量綱:即特徵的規格不一樣,不能夠放在一起比較。無量綱化可以解決這一問題。
- 資訊冗餘:對於某些定量特徵,其包含的有效資訊為區間劃分,例如學習成績,假若只關心“及格”或不“及格”,那麼需要將定量的考分,轉換成“1”和“0”表示及格和未及格。二值化可以解決這一問題。
- 定性特徵不能直接使用:某些機器學習演算法和模型只能接受定量特徵的輸入,那麼需要將定性特徵轉換為定量特徵。最簡單的方式是為每一種定性值指定一個定量值,但是這種方式過於靈活,增加了調參的工作。
- 存在缺失值:因為各種各樣的原因,真實世界中的許多資料集都包含缺失資料,這類資料經常被編碼成空格、NaNs,或其他佔位符。
- 資訊利用率低:不同的機器學習演算法和模型對資料中資訊的利用是不同的,之前提到線上性模型中,使用對定性特徵啞編碼可以達到非線性的效果。類似地,對定量變數多項式化,或者進行其他的轉換,都能達到非線性的效果。
無量綱化
標準化
資料的標準化是將資料按比例縮放,使之落入一個小的特定區間。在某些比較和評價的指標處理中經常會用到,去除資料的單位限制,將其轉化為無量綱的純數值,便於不同單位或量級的指標能夠進行比較和加權。
公式為:(X-mean)/std 計算時對每個屬性/每列分別進行。
將資料按屬性(按列進行)減去其均值,併除以其方差。得到結果是,對於每個屬性(每列)來說所有資料都聚集在0附近,方差為1。
from sklearn.datasets import load_iris
import numpy as np
X = np.array([[ 1.
[ 2., 0., 0.],
[ 0., 1., -1.]])
from sklearn import preprocessing
X_scaled = preprocessing.scale(X)
print(X_scaled)
print(X_scaled.mean(axis=0))
print(X_scaled.std(axis=0))
out
[[ 0. -1.22474487 1.33630621]
[ 1.22474487 0. -0.26726124]
[-1.22474487 1.22474487 -1.06904497]]
[ 0. 0. 0.]
[ 1. 1. 1.]
sklearn 還提供了StandardScaler類,使用該類的好處在於可以儲存訓練集中的引數(均值、方差)直接使用其物件轉換測試集資料。
scaler = preprocessing.StandardScaler().fit(X)
print(scaler)
print(scaler.mean_)
print(scaler.scale_)
print(scaler.transform(X))
scaler.transform([[-1., 1., 0.]])
out
StandardScaler(copy=True, with_mean=True, with_std=True)
[ 1. 0. 0.33333333]
[ 0.81649658 0.81649658 1.24721913]
[[ 0. -1.22474487 1.33630621]
[ 1.22474487 0. -0.26726124]
[-1.22474487 1.22474487 -1.06904497]]
Out[9]:
array([[-2.44948974, 1.22474487, -0.26726124]])
區間縮放
另一種常用的方法是將屬性縮放到一個指定的最大和最小值(通常是1-0)之間,這可以通過preprocessing.MinMaxScaler類實現。
使用這種方法的目的包括:
1、對於方差非常小的屬性可以增強其穩定性。
2、維持稀疏矩陣中為0的條目。
X_train = np.array([[ 1., -1., 2.],
[ 2., 0., 0.],
[ 0., 1., -1.]])
min_max_scaler = preprocessing.MinMaxScaler()
X_train_minmax = min_max_scaler.fit_transform(X_train)
print(X_train_minmax)
out
[[ 0.5 0. 1. ]
[ 1. 0.5 0.33333333]
[ 0. 1. 0. ]]
歸一化
歸一化是依照特徵矩陣的行處理資料,其目的在於樣本向量在點乘運算或其他核函式計算相似性時,擁有統一的標準,也就是說都轉化為“單位向量”。規則為l2的歸一化公式如下:
image.png
該方法主要應用於文字分類和聚類中。例如,對於兩個TF-IDF向量的l2-norm進行點積,就可以得到這兩個向量的餘弦相似性。
X_normalized = preprocessing.normalize(X_train, norm='l2')
print(X_normalized)
normalizer = preprocessing.Normalizer().fit(X_train)
normalizer.transform(X_train)
out
[[ 0.40824829 -0.40824829 0.81649658]
[ 1. 0. 0. ]
[ 0. 0.70710678 -0.70710678]]
Out[16]:
array([[ 0.40824829, -0.40824829, 0.81649658],
[ 1. , 0. , 0. ],
[ 0. , 0.70710678, -0.70710678]])
後面接著介紹資料預處理
參考
關於使用sklearn進行資料預處理 —— 歸一化/標準化/正則化
統計資料歸一化與標準化
標準化和歸一化什麼區別?
特徵工程到底是什麼?
sklearn preprocess
</div>
</div>