Fisher Score選出的是特徵的次優子集。

Introduction

在存在許多不相關或冗餘的特徵時，學習方法往往會過度適合，變得難以解釋。基於過濾器的方法將特徵排序作為學習演算法之前的預處理步驟，並選擇排名分數高的特徵。基於包裝器的方法使用最終將被使用的學習演算法對特徵進行評分。

給定一組d個特徵，用S表示，基於濾波器的特徵選擇的目標是選擇一個m < d個特徵的子集，用T表示，它使某個準則F最大化。

一種常見的啟發式方法，首先為每個特性獨立地計算一個分數 ，然後選擇得分最高的m個特徵，但是這樣的方法選出的特徵子集是次優的。一方面，由於啟發式演算法單獨計算每個特徵的得分，它忽略了特徵的組合。另一方面，它無法處理冗餘特徵。

所提方法不是單獨選擇每個特徵，而是同時選擇一個特徵子集 。由此得到的特徵選擇問題是一個混合整數規劃，它被進一步表述為二次約束線性規劃。