本文介紹一些模型中常用的評價模型準確性的指標

參考：

• Various ways to evaluate a machine learning model’s performance
• Evaluation Criteria for Machine Learning Models

本文針對迴歸問題和分類問題的不同，介紹對應的一些模型指標

迴歸問題

Mean Absolute Error (MAE)

它是預測值與實際值的絕對差b/w的平均值。取絕對值以消除負值的影響
MAE = Absolute value(summation of (actual value — predicted value)))

Mean Squared Error (MSE)

預測值與實際值的方差
MSE = Square of (summation of (actual value — predicted value))

Root mean squared error (RMSE)

它是預測值與實際值之差的平方的平方根。由於均方根誤差(RMSE)中數值的平方，實際和預測的輸出差b/w看起來非常大，因此在均方根誤差(RMSE)中，將單位的平方根轉換回原始值。
RMSE = Square root of (Square of (summation of (actual value — predicted value)))

R square

R平方提供了一組預測值與實際值的擬合優度，因此可以對所有的線性迴歸模型進行計算
R square = 1 — MSE(model)/ MSE (Baseline model)

Adjusted R square

到目前為止，我們已經看到R平方是預測值的擬合優度，這意味著R平方的值越高，預測模型越好，但R平方有一個問題。R平方值總是增加(或保持相同)後,在模型中新增新特徵,因為你在模型中新增的任何特這個表格會有一些影響的預測價值隨機或邏輯上R平方繼續增加。
因此，為了解決這個問題，提出了Adjusted R Square
Adjusted R square = 1 — (1- R square) [(n — 1)/(n — k+1)]
其中，n是值得數量，k是特徵數量

分類問題

Confusion Matrix

對於二元分類問題，假設我們要找出一張圖片是貓還是狗。或者患者患有癌症(陽性)或被發現健康(陰性)。一些需要明確的常用術語是:
True Positive(TP):預測的陽性和實際的陽性。
False Positive(FP):預測為陽性，實際為陰性。
True Negative(TN):預測為負值，實際上也是負值。
False Negative(FN):預測為陰性，實際為陽性。

Accuracy

最常用的指標，正確樣本個數除以總樣本個數
Accuracy = (TP + TN)/(TP + TN + FP + FN)

Precision

這是一個ML模型在所有實際陽性結果(Tue陽性+假陽性)中正確預測陽性結果(真陽性)的數量
Precision = TP/ TP + FP

AUC-ROC

它被稱為受試者工作特徵下面積曲線(ROC)。它是真實陽性率(TPR)和假陽性率(FPR)在不同的概率閾值下的圖，計算來預測類別標籤。現在我們來看看更詳細的內容:
True Positive Rate (TPR) = TP/ TP + FP
False Positive Rate (FPR) = FP/ FP + TN

• 用於平衡類的二元分類問題，即當兩個二元類(Yes/No)的觀測數大致相等時
• 提供不同閾值的模型摘要
• 可用於比較兩種不同閾值的模型

Recall

這是所有預測的陽性結果(TP+FN)中正確預測的結果(TP)的數量。
Recall = TP/ TP + FN

F1 Score

F1 = 2 / [1/ recall x 1/precision]
我們應該在什麼時候使用這個評價標準:
·當準確度和召回率對輸出都很重要時
·用於不平衡類的二元分類問題(當是或否的值與其他值相比非常小，例如信用卡交易中的欺詐)
總之，有很多評估標準可以檢查ML演算法的準確性，這樣您就可以根據可用的超引數對演算法進行微調。