要理解特徵工程，首先要理解資料（Data）和特徵（Feature）的概念

概念

• 特徵工程（Feature Engineering）

  • 其本質上是一項工程活動，它目的是最大限度地從原始資料中提取特徵以供演算法和模型使用。

特徵工程在資料探勘中有舉足輕重的位置
資料領域一致認為：資料和特徵決定了機器學習的上限，而模型和演算法只能逼近這個上限而已。

• 特徵工程重要性：

  • 特徵越好，靈活性越強；

  • 特徵越好，模型越簡單；

  • 特徵越好，效能越出色；

好特徵即使使用一般的模型，也能得到很好的效果！好特徵的靈活性在於它允許你可以選擇不復雜的模型，同時，執行速度也更快，也更容易理解和維護。

好的特徵，即使引數不是最優解，模型效能也能表現很好，因此，不需要太多時間去尋找最優引數，大大的降低了模型的複雜度，使模型趨向簡單。

模型的效能包括模型的效果，執行的效率及模型的可解釋性。特徵工程的最終目的就是提升模型的效能。

資料科學家通過總結和歸納，把特徵工程劃分為以下三個部分：

• 特徵工程包括：

  • 資料處理

  • 特徵選擇

  • 維度壓縮

資料處理

資料處理的常用技巧

• 量綱不一

• 虛擬變數

• 缺失值填充

資料處理——量綱不一

• 量綱：就是單位，特徵的單位不一致，特徵就不能放在一起比較。

• 解決量綱不一致的方法：標準化

  • 0-1標準化

  • Z標準化

  • Normalizer歸一化

0-1標準化

是對原始資料進行線性變換，將特徵值對映成區間為［0，1］的標準值中：

Z標準化

基於特徵值的均值（mean）和標準差（standard deviation）進行資料的標準化。它的計算公式為：

標準化後的變數值圍繞0上下波動，大於0說明高於平均水平，小於0說明低於平均水平。

Normalizer歸一化

將每個樣本縮放到單位範數（每個樣本的範數為1），計算公式如下：

如何使用sklearn實現標準化

sklearn簡介

• sklearn

  • 全名Scikit-Learn，是基於Python的機器學習模組，基於BSD開源許可證，官網上可以找到相關sklearn的資源，模組下載，文件，歷程等等；

  • sklearn的資料結構基於numpy和pandas;

  • sklearn的資料計算基於scipy;

  • sklearn的資料視覺化基於matplotlib;

• sklearn是在現有的資料分析，資料計算，資料視覺化最好的包的基礎上，搭建起來的最好python 機器學習的框架；

• sklearn的六大基本功能

  • 分類

  • 迴歸

  • 聚類

  • 資料降維

  • 模型選擇

  • 模型預處理

• sklearn處理機器學習問題的三個步驟：

  • 資料準備與預處理

  • 模型選擇與訓練

  • 模型驗證與引數調優

用sklearn實現標準化

#匯入資料到data變數中
import pandas
data = pandas.read_csv('路徑.csv')

#（一）Min-Max 標準化

from sklearn.preprocessing import MinMaxScaler
#初始化一個scaler物件
scaler = MinMaxScaler()
#呼叫scaler的fit_transform方法，把我們要處理的列作為引數傳進去

data['標準化後的A列資料'] = scaler.fit_transform(data['A列資料'])
data['標準化後的B列資料'] = scaler.fit_transform(data['B列資料'])

#（二）Z-Score標準化 （可在scale中直接實現）

from sklearn.preprocessing import scale
data['標準化後的A列資料'] = scale(data['A列資料'])
data['標準化後的B列資料'] = scale(data['B列資料'])

# (三) Normalizer歸一化

from sklearn.preprocessing import Normalizer
scaler = Normalizer()
#歸一化可以同時處理多個列，所以[0]第一個進行賦值
data['歸一化後的A列資料'] = scaler.fit_transform(data['A列資料'])[0]
data['歸一化後的B列資料'] = scaler.fit_transform(data['B列資料'])[0]

資料處理——虛擬變數

• 虛擬變數：也叫啞變數和離散特徵編碼，可用來表示分類變數、非資料因素可能產生的影響。

• 虛擬變數的兩種資料型別：

  • 離散特徵的取值之間有大小的意義：例如：尺寸（L、XL、XXL）

  • 離散特徵的取值之間沒有大小的意義：例如：顏色（Red、Blue、Green）

• 離散特徵值有大小意義的虛擬變數處理

  • pandas.Series.map(dict)

    • 離散特徵的取值之間有大小意義的處理函式，我們只需要把大小值以字典的方式，作為第一個引數傳入即可；

      • (1) dict 對映的字典

• 離散特徵值沒有大小意義的虛擬變數處理

  • pandas.get_dummies(data,prefix=None,prefix_sep=’_’,dummy_na=False,columns=None,drop_first=False)

    • 離散特徵的取值之間沒有大小意義的處理方法，我們可以使用get_dummies方法處理，它有6個常用的引數

      • (1) data 要處理的DataFrame

      • (2) prefix 列名的字首，在多個列有相同的離散項時候使用

      • (3) prefix_sep 字首和離散值的分隔符，預設為下劃線，預設即可

      • (4) dummy_na 是否把NA值，作為一個離散值進行處理，預設不處理

      • (5) columns 要處理的列名，如果不指定該列，那麼預設處理所有列

      • (6) drop_first 是否從備選項中刪第一個，建模的時候為避免共線性使用

虛擬變數—實戰案例

以網際網路金融行業為例：

import pandas
#有些朋友也可能是encoding='utf8'或其他
data=pandas.read_csv('file:///Users/apple/Desktop/jacky_1.csv',encoding='GBK')
print(data)

其實，虛擬變數的實質就是要把離散型的資料轉化為連續型的資料，因為第1列年齡已經是連續值，所以我們就不需要處理了。
我們看看如何處理學歷和性別？
因為不同學歷之間是有高低之分的，因此我們要使用Map方法來處理這種型別的離散型資料；

• 第1步： 首先我們要處理不同學歷之間的大小值

  • 我們使用drop_duplicates方法，來看看資料列都有哪些學歷

#檢視學歷去重之後的情況
data['學歷'].drop_duplicates()

• 第2步：理解資料值背後的意義，作出我們自己的解析，對每個學歷進行評分

#構建學歷字典
educationLevelDict={'博士':4,'碩士':3,'大學':2,'大專':1}
#呼叫Map方法進行虛擬變數的轉換
data['Education Level Map']=data['Education Level'].map(educationLevelDict)

• 第3步 對於性別這種沒有大小比較的離散變數，我們使用get_dummies方法，來進行呼叫處理即可；

dummies=pandas.get_dummies(
data,
columns=['性別'],
prefix=['性別'],
prefix_sep='_',
dummy_na=False,
drop_first=False)

• 完整程式碼展示

import pandas
data=pandas.read_csv('file:///Users/apple/Desktop/jacky_1.csv',encoding='GBK')

data['學歷'].drop_duplicates()
educationLevelDict={'博士':4,'碩士':3,'大學':2,'大專':1}
data['學歷 Map']=data['學歷'].map(educationLevelDict)

dummies=pandas.get_dummies(data,columns=['性別'],prefix=['性別'],prefix_sep='_',dummy_na=False,drop_first=False)

print(dummies)

資料處理——缺失值填充

• 缺失值產生原因

  • 有些資訊暫時無法獲取；

  • 有些資訊被遺漏或者錯誤的處理了

• 缺失值處理方法

  • 資料補齊

  • 刪除缺失行

  • 不處理

實操－使用統計指標填充缺失值

import pandas
data=pandas.read_csv('路徑.csv')
from sclera.preprocessing import Imputer
#'mean','median','most_frequent'
imputer=Imputer(strategy='mean')
imputer.fit_transform(data[['需填充列的列名']])