一 roc曲線

1、roc曲線：接收者操作特徵(receiveroperating characteristic),roc曲線上每個點反映著對同一訊號刺激的感受性。

橫軸：負正類率(false postive rate FPR)特異度，劃分例項中所有負例佔所有負例的比例；(1-Specificity)

縱軸：真正類率(true postive rate TPR)靈敏度，Sensitivity(正類覆蓋率)

2針對一個二分類問題，將例項分成正類(postive)或者負類(negative)。但是實際中分類時，會出現四種情況.

(1)若一個例項是正類，被預測為正類，即為真正類(True Postive TP)

(2)若一個例項是正類，但是被預測成為負類，即為假負類(False Negative FN)

(3)若一個例項是負類，但是被預測成為正類，即為假正類(False Postive FP)

(4)若一個例項是負類，被預測成為負類，即為真負類(True Negative TN)

TP:正確的肯定數目

FN:漏報，沒有找到正確匹配的數目

FP:誤報，沒有的匹配不正確

TN:正確拒絕的非匹配數目

列聯表如下，1代表正類，0代表負類：

由上表可得出橫，縱軸的計算公式：

(1)真正類率(True Postive Rate)TPR: TP/(TP+FN)

(2)負正類率(False Postive Rate)FPR: FP/(TN+FP)，代表分類器預測的正類中實際負例項佔所有負例項的比例。1-Specificity

(3)真負類率(True Negative Rate)TNR: TN/(TN+FP),代表分類器預測的負類中實際負例項佔所有負例項的比例，TNR=1-FPR。Specificity

假設採用邏輯迴歸分類器，其給出針對每個例項為正類的概率，那麼通過設定一個閾值如0.6，概率大於等於0.6的為正類，小於0.6的為負類。對應的就可以算出一組(FPR,TPR),在平面中得到對應座標點。隨著閾值的逐漸減小，越來越多的例項被劃分為正類，但是這些正類中同樣也摻雜著真正的負例項，即TPR和FPR會同時增大。閾值最大時，對應座標點為(0,0),閾值最小時，對應座標點(1,1)。

如下面這幅圖，(a)圖中實線為ROC曲線，線上每個點對應一個閾值。

橫軸FPR:1-TNR,1-Specificity，FPR越大，預測正類中實際負類越多。

縱軸TPR：Sensitivity(正類覆蓋率),TPR越大，預測正類中實際正類越多。

理想目標：TPR=1，FPR=0,即圖中(0,1)點，故ROC曲線越靠攏(0,1)點，越偏離45度對角線越好，Sensitivity、Specificity越大效果越好。

二 如何畫roc曲線

假設已經得出一系列樣本被劃分為正類的概率，然後按照大小排序，下圖是一個示例，圖中共有20個測試樣本，“Class”一欄表示每個測試樣本真正的標籤（p表示正樣本，n表示負樣本），“Score”表示每個測試樣本屬於正樣本的概率。

接下來，我們從高到低，依次將“Score”值作為閾值threshold，當測試樣本屬於正樣本的概率大於或等於這個threshold時，我們認為它為正樣本，否則為負樣本。舉例來說，對於圖中的第4個樣本，其“Score”值為0.6，那麼樣本1，2，3，4都被認為是正樣本，因為它們的“Score”值都大於等於0.6，而其他樣本則都認為是負樣本。每次選取一個不同的threshold，我們就可以得到一組FPR和TPR，即ROC曲線上的一點。這樣一來，我們一共得到了20組FPR和TPR的值，將它們畫在ROC曲線的結果如下圖：

AUC(Area under Curve)：Roc曲線下的面積，介於0.1和1之間。Auc作為數值可以直觀的評價分類器的好壞，值越大越好。

首先AUC值是一個概率值，當你隨機挑選一個正樣本以及負樣本，當前的分類演算法根據計算得到的Score值將這個正樣本排在負樣本前面的概率就是AUC值，AUC值越大，當前分類演算法越有可能將正樣本排在負樣本前面，從而能夠更好地分類。

三 為什麼使用Roc和Auc評價分類器

既然已經這麼多標準，為什麼還要使用ROC和AUC呢？因為ROC曲線有個很好的特性：當測試集中的正負樣本的分佈變換的時候，ROC曲線能夠保持不變。在實際的資料集中經常會出現樣本類不平衡，即正負樣本比例差距較大，而且測試資料中的正負樣本也可能隨著時間變化。下圖是ROC曲線和Presision-Recall曲線的對比：

在上圖中，(a)和(c)為Roc曲線，(b)和(d)為Precision-Recall曲線。

(a)和(b)展示的是分類其在原始測試集(正負樣本分佈平衡)的結果，(c)(d)是將測試集中負樣本的數量增加到原來的10倍後，分類器的結果，可以明顯的看出，ROC曲線基本保持原貌，而Precision-Recall曲線變化較大。