20180829
參考：https://www.nowcoder.com/courses/190

Error

Error是一個直觀的計算方法，它計算了分類錯誤的資料點佔所有資料的比例，通常是對測試集中的資料進行測算。

Disadvantage
各個類別的資料不均衡的時候，產生問題。

產生原因：對所有類別的資料全域性計算了error，而不是針對每一個類別計算一個細粒度的效能。
例：二分類問題中，資料點被分為positive\negative，如果模型預測為positive，那麼就有兩種情況，第一種模型預測正確=>true positive；或者模型可能預測錯誤=>negative(false positive)。

混淆矩陣：每一個方框是相應值的佔位符，這個值不和特定方框的大小有關。
使用這個矩陣，我們可以設計出解決error指標問題的新指標。
召回率recall：資料集中的positive樣本中，有多少positive可以被這個模型正確的歸類？
通過把true positive值除以資料中的總positive樣本數量得到。
精確率precision：有多少被預測為positive的是真正的positive樣本?
true positive值除以被模型預測為positive的樣本總量得到。

使用混合的衡量方法來平衡準確率和召回率。
F1：對準確率和召回率計算調和平均值，當有異常值時，比算數平均值有效。當特徵值在0~1之間時，調和平均值對特徵標準化也很有用。
畫圖

多分類問題

召回率和準確率的定義和二分類問題中的一樣。區別是現在一個數據點可以被錯誤的分類成好幾種情況，因此false positive和false negative需要對所偶可能的錯誤組合進行求和。