1.1 評估指標
評估指標用於反映模型效果。在預測問題中，要評估模型的效果，就需要將模型的預測結果$f(X)$和真實標註$Y$進行比較，評估指標定義為$f(X)$和$Y$的函式。

通常，線下使用的是機器學習評估指標，而線上使用的是業務指標(比如，線上支付的風控模型，線下使用的是風險交易筆數的準召率，而線上使用的業務指標卻是資損率，這就會導致線上、線下的不一致)。所以，在模型訓練的階段，要設法找到與線上業務指標相一致的線下指標，“一致”的意思是指標的變化趨勢一樣。

評估指標根據任務型別的不同，可以分為分類指標、迴歸指標、聚類指標和排序指標等。

1.1.1 分類指標
1）精確率和召回率
精確率和召回率用於二分類問題，結合混淆矩陣

精確率和召回率的定義為

精確率和召回率是此消彼長的(事實上，並不是嚴格的“此消彼長”。閾值越小，召回率越高，但是精確率卻未必越低，但是大多數時候精確率是越低的，因為閾值越小，雖然TP和FP都會變大，但是對FP的影響往往要大於對TP的影響，即FP變大的更多，從而導致精確率下降。)，計算精確率和召回率的前提是設定一個閾值，將預測概率大於閾值的樣本歸為正樣本，預測概率小於閾值的樣本歸為負樣本。實際中，精確率和召回率重要性不同，有時候精確率更重要，比如風控模型(誤殺太多會帶來糟糕的使用者體驗)，有時候召回率更重要，比如推薦模型。
以召回率$R$為橫軸，以精確率$P$為縱軸可以畫P-R曲線。P-R曲線越靠近右上角越好。如果預測的結果，正樣本的預測概率均大於負樣本的預測概率，那麼P-R曲線將變成一條折線。
P-R曲線下的面積叫AP分數(Average Precision Score，平均精確率分數)。

AP分數能在一定程度上反映模型的精確率和召回率都高的比例。但計算起來並不方便，為此人們提出了一些其他的綜合考慮精確率和召回率的指標。
$F_{1}$值是常用的指標，其是精確率和召回率的調和平均值
$\frac{2}{F_{1}}=\frac{1}{P}+\frac{1}{R}$
$F$值可以泛化為精確率和召回率不同權重進行加權調和：
$F_{\alpha}=\frac{(1+\alpha^{2})\cdot P\cdot R}{\alpha^{2}\cdot P + R}$
此外，準確率和錯誤率也是常用的評估指標
準確率(accuracy) = $\frac{TP+TN}{TP+FP+FN+TN}$
錯誤率(error rate) = $\frac{FP+FN}{TP+FP+FN+TN}$
精確率和準確率是有區別的，精確率是一個二分類指標，而準確率能應用於多分類。

2）ROC與AUC
用準確率、召回率對模型的效果進行評價時，需要對預測概率設定一個閾值，這樣就會額外引入一個超引數，並且這個超引數會影響模型的泛化能力。
ROC(Receiver Operating Characteristic)曲線不需要設定這樣的閾值。ROC曲線的縱座標是真正率，而橫座標是假正率。公式是
真正率(TPR) = $\frac{TP}{TP+FN}$
假正率(FPR) = $\frac{FP}{FP+TN}$

真正率與假正率變化趨勢是一致的。所以FPR-TPR是一條遞增的曲線。ROC曲線的繪製很簡單，只需要按模型的預測概率排序，然後以每一個樣本的預測概率為閾值，計算該閾值下的TPR、FPR，就可以獲得大量離散的點(FPR，TPR)，將這些離散的點連起來，就成了一條接近連續的曲線。
ROC越靠近左上角越好，最好的情況就是ROC曲線變成了一條與座標軸重合的折線，什麼時候ROC會是這樣的折線呢？就是當模型對正樣本的預測概率值都大於對負樣本的預測概率值。
AUC即ROC曲線下的面積，取值越大說明模型越可能將正樣本排在負樣本之前。統計學意義上，AUC等於隨機挑選一個正樣本和一個負樣本時，分類器將正樣本排前面的概率。當ROC曲線為折線時，AUC取得最大值1，此時模型將全部的正樣本排在了負樣本前面(按預測概率)。
AUC的計算方法有多種，物理意義上，AUC是ROC曲線下的面積，那麼利用微元法，曲線下的面積，就是眾多的小梯形面積之和。

概率意義上，AUC衡量的是排序質量，

這裡排序問題的AUC範圍是(0,1)，它對排序敏感，而對具體的預測概率不很敏感(改變預測概率，但不改變排序結果，ROC曲線形狀不會變)

3）對數損失
對數損失，即對數似然損失(Log-likelihood Loss)，也就是交叉熵損失(cross-entropy Loss)
log loss = $-logP(Y|X)$
對於二分類問題，對數損失為
log loss = $-\frac{1}{N}\sum_{i=1}^{N}{(y_{i}\cdot logp_{i}+(1-y_{i})\cdot log(1-p_{i}))}$
其中，$p_{i}$為第$i$個樣本預測為1的概率。
多分類任務中的對數損失為
log loss = $-\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{C}{y_{ij}\cdot logp_{ij}}$
其中，$N$為樣本數，$C$為類別數，$y_{ij}$是一個二值指標，$y_{ij}=1$表示第$i$個樣本的類別為$j$，$p_{ij}$為第$i$個樣本類別$j$的概率。$y_{ij},j=1,2,3,...,C$中只有一個$y_{ij}$取1，其餘全部取0，假設第$i$個樣本屬於類別$c$，那麼$y_{ic}=1$，預測概率$p_{ic}$越接近1越好(loss越小)。
log loss衡量的是預測概率分佈與真實概率分佈的差異性，取值越小越好。與AUC不同，log loss對預測概率敏感。

1.1.2 迴歸指標
1）平均絕對誤差
平均絕對誤差(Mean Absolute Error, MAE)，也叫L1範數損失

2）平均絕對百分誤差(MAPE)

如果MAPE=10，這表明預測平均偏離真實值10%。MAPE是一個無量綱的量，所以在特定場景下不同問題具有一定可比性。
3）均方根誤差

RMSE對離群點敏感，健壯性不如MAE。模型使用RMSE作為損失函式是對資料分佈的平均值進行擬合。

1.1.3 排序指標
1）平均準確率均值(Mean Average Precision，MAP)
（沒看懂）

2）NDCG
先引入一個概念，相關等級。如在網頁搜尋場景中，輸入一個詞，搜尋引擎會返回若干網頁，每一個返回的網頁和搜尋關鍵詞的相關性是不一樣的，可以用一些數值來表示相關性大小，2表示非常相關，1表示相關，0表示無關，-1表示垃圾檔案。
用rel來表示相關等級，我們可以計算前$p$個位置累計得到的收益(可以理解為對返回的前$p$個網頁好壞的衡量結果)為
$CG_{p}=\sum_{i=1}^{p}{rel_{i}}$
DCG (Discounted Cumulative Gain)
在CG中的計算沒有考慮到位置資訊，比如檢索到了三個文件相關度一次為(3,-1,1)和(-1,1,3)，顯然前面的排序好一點，但是兩個排名的CG值是相同的，所以要在CG運算中中加入位置資訊的計算。假設每個位置按照從小到大排序，它們的價值依次遞減，如假設第$i$個位置的價值為$\frac{1}{log_{2}(i+1)}$，那麼DCG的公式即為
$DCG_{p} = \sum_{i=1}^{p}{\frac{rel_{i}}{log_{2}(i+1)}}$
另一種比較常用的，用來增加相關度影響比重的DCG計算方式是：
$DCG_{p} = \sum_{i=1}^{p}{\frac{2^{rel_{i}}-1}{log_{2}(i+1)}}$
IDCG是理想狀態下的DCG，即DCG取得最大值的情況。公式為：
$IDCG_{p} = \sum_{i=1}^{|REL|}{\frac{2^{rel_{i}}-1}{log_{2}(i+1)}}$
其中|REL|表示文件按照相關性從大到小的順序排序，取前p個文件組成的集合。
NDCG (Normalize DCG)
由於每個查詢語句所能檢索到的結果文件集合長度不一，p值的不同會對DCG的計算有較大的影響。所以不能對不同查詢語句的DCG進行求平均，需要進行歸一化處理。NDCG就是用IDCG進行歸一化處理，表示當前DCG比IDCG還差多大的距離。公式如下：

相關推薦