在分類模型中，評價輸出相對簡單，有“錯誤率”、“混淆矩陣（confusion matrix）”、“正確率（precision）”、“召回率（recall）”、ROC曲線等等。但迴歸模型怎樣評價呢？

在一個迴歸預測結束後得到一串預測結果Y_predict。另有真實結果Y_actual。有如下值評價：

1、SSE（誤差平方和）

如果用這個，你會得到一個巨大的數，比如好幾萬多，你也不知道它代表什麼，就知道誤差很大。其實不一定，因為隨著樣本數增加，這個誤差平方和必然跟著增大。這個數什麼也不代表，除非是對比，比如兩個或多個迴歸模型放一起比較，誰的誤差平方和越小，則誤差越小，則這個模型表現越好。

另外，標準線性迴歸模型的原理就是，通過計算使誤差平方和最小。所以用它來表示誤差理所應當。

（《機器學習實戰》第八章P145的rssError函式即是算誤差平方和，並以此評價模型效果。）
另外，有個神奇、類似但並不是的例子和此相關，那就是sklearn.cluster.KMeans的score方法（這個就不是迴歸了）是把x中的每個value減去同意分類中的所在維度的平均值的平均值後做平方，再把這些平方們做加和。（說它神奇是因為score(x,y)的y根本沒用。）

2、R-Square（決定係數)

（此處的R即相關係數，相關係數的平方就是決定係數R-Square。）

R-Square的取值範圍是“負無窮到1”，經常是“0到1”。

• 當其為1時，表示預測結果全錯。
• 當其從正負方向接近0時，表示可能很正確。是可能。
• 當其為負數很大時，什麼也不能表示。

大致理解為，為正數時，約接近0說明預測越正確，越接近1說明預測越不對。越大越好。

它的作用是，把“誤差平方和”這個好幾萬的數，變成 R-Square這個（一般來說）0~1的數，還能在只有這一套樣本一個模型的情況下，知道預測結果大概準不準，大概有多準。

之所以說“大概有多準”，是因為隨著“樣本數”增加（立個flag，下文會提到），R-Square必然增加，無法真正定量說明準確程度，只能大概定量。

3、Adjusted R-Square（校正決定係數）

其中，n為樣本數量，p為特徵數量。即樣本為n個[ x1, x2, x3, … , xp, y ]。

這個式子其實就是將R-Square式子中那個“一堆除以一堆”乘以“一個稍大於1的數”再被1減。樣本數量（接上文flag）會影響“一個稍大於1的數”，故而抵消樣本數量對R-Square的影響。
做到了真正的 0~1，越大越好。

自己造個輪子，在python的numpy下求Adjusted R-Square（校正決定係數）的函式：

import numpy as np

def score(a,b,dimension):       
# a is predict, b is actual. dimension is len(train[0]).
    aa=a.copy(); bb=b.copy()
    if len(aa)!=len(bb):
        print('not same length')
        return np.nan

    cc=aa-bb
    wcpfh=sum(cc**2)

    # RR means R_Square
    RR=1-sum((bb-aa)**2)/sum((bb-np.mean(bb))**2)

    n=len(aa); p=dimension
    Adjust_RR=1-(1-RR)*(n-1)/(n-p-1)
    # Adjust_RR means Adjust_R_Square

    return Adjust_RR

經測試，這個函式的結果和sklearn裡的score函式結果極為接近（誤差千分之一）。說明那個也是用的同樣原理，估計是部分引數略微不同。

真心是本人原創。歡迎轉載，請連結註明出處。