ML 學習筆記 4 多項式迴歸與模型泛化
阿新 • • 發佈：2019-01-03
問題
怎麼用線性迴歸去擬合非線性資料呢？多項式迴歸。多項式迴歸屬於線性迴歸的範疇？以一元線性迴歸為例,模型原型 ：y = ax + b ；對應的多項式迴歸原型為： y = ax^2 + bx + c 。即對特徵 x 做多項式處理-加些平方項，特徵前面的係數依然是線性的（沒有平方等高次方項）。
多項式迴歸
我們不妨自己構造一堆近二次曲線的資料，分別用線性迴歸與多項式迴歸擬合，通過對比 MSE 值，初步認識二項式迴歸的簡單應用。
自定義多項式迴歸
import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression x = np.random.uniform(-3,3,100) X = np.array(x).reshape(-1,1) y = x**2 + 2*x + np.random.normal(0,1,100)
先用簡單線性迴歸擬合：
lr = LinearRegression()
lr.fit(X,y)
y_predict = lr.predict(X)
plt.scatter(x,y)
plt.plot(x,y_predict)
plt.show()
顯然效果不好，下面在訓練集中多加一項 x^2 :
X2 = np.hstack([X,X**2]) lr2 = LinearRegression() lr2.fit(X2,y) y_predict2 = lr2.predict(X2) plt.scatter(x,y) plt.plot(np.sort(x),y_predict2[np.argsort(x)]) plt.show() print(lr2.intercept_) # 輸出： print(lr2.coef_) # 輸出：[ 1.9414192 0.94504968]
sklearn 中的多項式迴歸
from sklearn.preprocessing import PolynomialFeatures poly = PolynomialFeatures(degree=2) poly.fit(X) X2 = poly.transform(X) lr3 = LinearRegression() lr3.fit(X2,y) y_predict3 = lr3.predict(X2) plt.scatter(x, y) plt.plot(np.sort(x), y_predict3[np.argsort(x)], color='r') plt.show() # 圖略
模型的泛化能力
泛化能力指模型對新資料的預測表現力。
過擬合與欠擬合
- 欠擬合：演算法所訓練的模型不能完整表述資料關係
- 過擬合：演算法所訓練的模型過多地表達了資料間的噪音關係
如上圖，模型出現過擬合，往往在訓練資料集表現很好，但在測試資料集表現差。下面通過調整多項式迴歸中的平方次數模擬過擬合情況 :
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
x = np.random.uniform(-3,3,100)
X = np.array(x).reshape(-1,1)
y = x**2 + 2*x + np.random.normal(0,1,100)
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
def PolynomialRegression(degree):
return Pipeline([ # 使用 pipeline
("poly", PolynomialFeatures(degree=degree)),
("std_scaler", StandardScaler()),
("lin_reg", LinearRegression())
])
def mean_squared_error(y_true,y_predict):
return np.sum((y_true-y_predict)**2)/len(y_true)
def plot_model(model):
X_plot = np.linspace(-3,3,100).reshape(100,1)
y_plot = model.predict(X_plot)
plt.scatter(x,y)
plt.plot(X_plot[:,0],y_plot,c='r')
plt.axis([-3,3,0,6])
plt.show()
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)
多項式平方次數 = 2 時：
poly2_reg = PolynomialRegression(degree=2)
poly2_reg.fit(X_train, y_train)
y2_predict = poly2_reg.predict(X_train)
print("degree = 2 時 訓練集 MSE : ", mean_squared_error(y_train, y2_predict))
print("degree = 2 時 測試集 MSE : ", mean_squared_error(y_test, poly2_reg.predict(X_test)))
plot_model(poly2_reg)
輸出：
多項式平方次數 = 100 時：
poly100_reg = PolynomialRegression(degree=100)
poly100_reg.fit(X_train, y_train)
y100_predict = poly100_reg.predict(X_train)
print("degree = 100 時 訓練集 MSE : ", mean_squared_error(y_train, y100_predict))
print("degree = 100 時 測試集 MSE : ", mean_squared_error(y_test, poly100_reg.predict(X_test)))
plot_model(poly100_reg)
輸出：
學習曲線
學習曲線，用來描述隨著訓練樣本的逐漸增多，演算法訓練出的模型的表現能力；可以作為判斷模型是否過擬合，尋找泛化能力最好的訓練樣本數的方式。這裡只給出實驗具體效果圖：
交叉驗證
簡單的 train_test 方式，整個模型的訓練與評估圍繞測試集進行，可能出現模型對特定測試資料集過擬合 - 為了解決這個問題，提出交叉驗證（Cross Validatation）的概念，即將訓練資料分為驗證資料與訓練資料。其中，驗證資料用於調整超引數；測試資料作為衡量最終模型效能的資料集 :
下面實驗對比 train_test 方式與 交叉驗證方式：
- train test validation
import numpy as np
from sklearn import datasets
digits = datasets.load_digits()
X = digits.data
y = digits.target
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=666)
from sklearn.neighbors import KNeighborsClassifier
best_k, best_p, best_score = 0, 0, 0
for k in range(2, 11):
for p in range(1, 6):
knn_clf = KNeighborsClassifier(weights="distance", n_neighbors=k, p=p)
knn_clf.fit(X_train, y_train)
score = knn_clf.score(X_test, y_test)
if score > best_score:
best_k, best_p, best_score = k, p, score
print("Best K =", best_k)
print("Best P =", best_p)
print("Best Score =", best_score)
輸出：
Best K = 3 Best P = 4 Best Score = 0.986091794159
- cross validation
from sklearn.model_selection import cross_val_score
knn_clf = KNeighborsClassifier()
cross_val_score(knn_clf,X_train,y_train)
best_k, best_p, best_score = 0, 0, 0
for k in range(2, 11):
for p in range(1, 6):
knn_clf = KNeighborsClassifier(weights="distance", n_neighbors=k, p=p)
scores = cross_val_score(knn_clf, X_train, y_train)
score = np.mean(scores)
if score > best_score:
best_k, best_p, best_score = k, p, score
print("Best K =", best_k)
print("Best P =", best_p)
print("Best Score =", best_score)
輸出：Best K = 2 Best P = 2 Best Score = 0.982359987401
注：交叉驗證只用於找到模型的最佳超引數；一般來說交叉驗證較train test 驗證更可靠。
偏差與方差權衡
模型誤差 = 偏差( bias ) + 方差( Variance ) + 不可避免的誤差
導致偏差的主要原因：
對問題本身的假設不正確 eg、非線性資料使用線性迴歸、欠擬合。
導致方差的主要原因：
使用的模型太複雜，eg 高階多項式迴歸。
非引數學習通常都是高方差演算法，因為不對資料進行任何假設，eg 、knn。
引數學習通常都是高偏差演算法，因為對資料具有極強的假設，eg、線性迴歸。
機器學習主要挑戰來自方差，解決方差的通常手段：
- 降低模型複雜度
- 減少資料維度；降噪
- 增加樣本數
- 使用驗證集
- 模型正則化（Regularization）
模型正則化
在損失函式中加入一個正則項，以保證模型引數不過大，主要手段有：L1正則（Lasso 迴歸）、L2正則（嶺迴歸）與彈性網（Elastic Net）
下面介紹lasso迴歸在sklearn中的應用：
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Lasso
from sklearn.model_selection import train_test_split
import numpy as np
import matplotlib.pyplot as plt
np.random.seed(42)
x = np.random.uniform(-3,3,size=100)
X = x.reshape(-1,1)
y = 0.5*x + 3 + np.random.normal(0,1,size=100)
np.random.seed(666)
X_train, X_test, y_train, y_test = train_test_split(X, y)
def plot_model(model):
X_plot = np.linspace(-3,3,100).reshape(100,1)
y_plot = model.predict(X_plot)
plt.scatter(x,y)
plt.plot(X_plot[:,0],y_plot,c='r')
plt.axis([-3,3,0,6])
plt.show()
def LassoRegression(degree,alpha):
return Pipeline([
("poly",PolynomialFeatures(degree=degree)),
("std_scaler",StandardScaler()),
("lasso_reg",Lasso(alpha=alpha))
])
lasso1_reg = LassoRegression(20,0.01)
lasso1_reg.fit(X_train,y_train)
y1_predict = lasso1_reg.predict(X_test)
print(mean_squared_error(y_test,y1_predict)) # 1.14960808433
plot_model(lasso1_reg)
注 ：lasso 趨向於使得一部分 theta 值變為 0 ，所以可作為特徵選擇用。
總結
啊，上火了，學的 ，加油。