機器學習十一 評估指標
阿新 • • 發佈:2019-02-07
評估指標(Evaluation Metrics)
選擇合適的指標
在構建機器學習模型的時候,首先要選擇效能指標,然後測試模型的表現如何。
相關的指標有多個,具體取決於我們要解決的問題。
在可以選擇效能指標之前,首先要認識到機器學習研究的是如何學習根據資料進行預測。
在測試模型時,也務必要將資料集分解為訓練資料和測試資料。
如果不區分訓練資料集和測試資料集,則在評估模型時會遇到問題,因為它已經看到了所有資料。
我們需要的是獨立的資料集,以確認模型可以很好地泛化,而不只是泛化到訓練樣本。
分類 | 迴歸 | |
涉及物件 | 根據未見過的樣本進行預測,並確定新例項屬於哪個類別。 | 根據連續資料進行預測 |
例子 | 根據藍色或紅色或者方形或圓形來組織物件,以便在看到新物件時根據其特徵來組織物件 | 包含不同人員的身高、年齡和性別的列表,並想預測他們的體重 |
分類指標 | 迴歸指標 |
瞭解模型隔多久正確或不正確地識別新樣本一次 | 瞭解模型的預測值與實際值之間差多少 |
處理物件:根據離散資料進行預測的模型 | 處理物件:根據連續資料進行預測的模型 |
此類模型確定新例項是否屬於給定的一組類別 | 此類模型關注的是預測的接近度 |
指標用於測量預測是否準確地將所討論的例項進行分類 | 指標用於關心模型如何能始終進行接近的預測 |
分類指標:混淆矩陣,準確率與召回率,F1分數。
迴歸指標:誤差指標:平均絕對誤差,均方差;
分數指標:R2分數(迴歸學習器預設的分數方法)、可釋方差分數。
分數越高越好,0表示壞,1表示好。