資料標準化是機器學習、資料探勘中常用的一種方法。包括我自己在做深度學習方面的研究時，資料標準化是最基本的一個步驟。資料標準化主要是應對特徵向量中資料很分散的情況，防止小資料被大資料（絕對值）吞併的情況。另外，資料標準化也有加速訓練，防止梯度爆炸的作用。下面是從李巨集毅教授視訊中截下來的兩張圖。

左圖表示未經過資料標準化處理的loss更新函式，右圖表示經過資料標準化後的loss更新圖。可見經過標準化後的資料更容易迭代到最優點，而且收斂更快。

一、[0, 1] 標準化

[0, 1] 標準化是最基本的一種資料標準化方法，指的是將資料壓縮到0～1之間。標準化公式如下，
$x=\frac{x-min\left(x\right)}{max\left(x\right)-m}$

def MaxMinNormalization(x, min, max):
    """[0,1] normaliaztion"""
    x = (x - min) / (max - min)
    return x

或者，

def MaxMinNormalization(x):
    """[0,1] normaliaztion"""
    x = (x - np.min(x)) / (np.max(x) - np.min(x))
    return
 
 x

二、Z-score標準化

Z-score標準化是基於資料均值和方差的標準化化方法。標準化後的資料是均值為0，方差為1的正態分佈。這種方法要求原始資料的分佈可以近似為高斯分佈，否則效果會很差。標準化公式如下，
$x = \dfrac{x - mean}{std}$
下面，我們看看為什麼經過這種標準化方法處理後的資料為是均值為0，方差為1，

程式碼實現，

def ZscoreNormalization(x, mean_, std_):
    """Z-score normaliaztion"""
    x = (x - mean_) / std_
    return
 
 x

或者，

def ZscoreNormalization(x):
    """Z-score normaliaztion"""
    x = (x - np.mean(x)) / np.std(x)
    return x

【參考文獻】