1、評估模型

評估模型分為三類，MAE，MSE，R-square；

2、實現

2.1 Mae平均絕對誤差實現

# 建立資料集，其中矩陣X表示特徵值，向量y表示所屬類目標記值
import numpy as np
X=np.random.random((10,5))
y=np.random.randn(10,1)

# 資料切分為訓練集和測試集
from sklearn.cross_validation import train_test_split
X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=0)

# 利用線性迴歸模型對資料進行擬合
 

from sklearn.linear_model import LinearRegression
lr=LinearRegression(normalize=True)
lr.fit(X_train,y_train)

# 對測試集資料預測
y_pred = lr.predict(X_test)
print(y_pred)
print(y_test)

評估模型

from sklearn.metrics import mean_absolute_error
mean_absolute_error(y_test, y_pred)

3、交叉驗證

交叉驗證，有的時候也稱作迴圈估計（Rotation Estimation），是一種統計學上將資料樣本切割成較小子集的實用方法，該理論是由Seymour Geisser提出的。

在給定的建模樣本中，拿出大部分樣本進行建模型，留小部分樣本用剛建立的模型進行預報，並求這小部分樣本的預報誤差，記錄它們的平方加和。這個過程一直進行，直到所有的樣本都被預報了一次而且僅被預報一次。把每個樣本的預報誤差平方加和，稱為PRESS(predicted Error Sum of Squares).

交叉驗證的基本思想是把在某種意義下將原始資料(dataset)進行分組,一部分做為訓練集(train set)，另一部分做為驗證集(validation set or test set)。首先用訓練集對分類器進行訓練，再利用驗證集來測試訓練得到的模型(model)，以此來做為評價分類器的效能指標。

無論分類還是迴歸模型，都可以利用交叉驗證，進行模型評估，示例程式碼：

from sklearn.cross_validation import cross_val_score
print(cross_val_score(knn, X_train, y_train, cv=4))
print(cross_cal_score(lr, X, y, cv=2))