機器學習迴歸分類
阿新 • • 發佈：2021-09-28
- Logit模型的經濟學含義：PM10保持不變的時候，PM2.5增加一個單位，取1與取0的概率比增加e^0.05（優勢比）
- 樹的形式表示推理規則集
- 多項式的幾何理解：y=x+x2 是3維空間中的平面在2維空間中的曲線
- 引數估計
- 迴歸預測中的平方損失函式
- 分類預測中的互動熵 p.s.K是類，二分類預測的指數損失函式，多分類情況用softmax函式
- 交叉熵
- 負號的作用：真實值*概率，概率越大，損失越小。
- 搜尋策略：梯度下降法
- 預測模型的評價：模型誤差、泛化誤差
- 混淆矩陣
- 敏感性、特異性
-
查準率P（真陽佔所有查出來的陽）、查全率R（真陽佔所有本身的陽）
- F1
- Fvalue
- 多分類模型
- 建模策略：一對一，一對多
- 微平均、巨集平均
- ROC取不同的概率閾值——計算TPR、FPR
- 什麼情況比較好？單個模型：橫軸增加，縱軸迅速增加；模型比較：包住
- (b)圖也可以幫助確定概率閾值
- P-R曲線
- 模型選擇的基本原則：奧克姆剃刀原則、避免過擬合
- 預測模型的偏差—方差分解：增加模型複雜度，降低偏差，但方差會增加
- 調參是在調什麼：模型如何在偏差、方差取得平衡