2. 程式人生 > >特徵選擇之 FCBF演算法

特徵選擇之 FCBF演算法

阿新 • • 發佈：2019-02-04

FCBF演算法介紹

具體詳述可見，提出該演算法的論文 Feature Selection for High-Dimensional Data: A Fast Correlation-Based Filter Solution

FCBF演算法： 全稱 Fast Correlation-Basd Filter Solution, 是一種快速過濾的特徵選擇演算法，一種基於symmetrical uncertainty（SU）的方法。演算法步驟如下：
1. 計算每個特徵Fi與目標C之間的相關性SUFi,c，計算公式如下：

SU(X,Y)=2IG(X,Y)E(X)+E(Y)
IG(X,Y)=
E(X)−E(X|Y) ，E(X)=−∑ci=1P(xi)∗log2(P(xi))
E(X|Y)=−∑i=1CyP(yi)∑j=1cP(xj|yi)log2(P(xj|yi))
其中IG(X,Y)就代表資訊增益，E(X)代表資訊熵。P(Xi)代表X的值取i時的概率，c為類別數。
2. 然後將相關度大於預先設好的閾值δ的特徵選擇出來。
3. 將SUFi,c按從大到小的順序排列，並依次計算每個特徵Fi與排序中小於SUFi,c的其他所有特徵Fj之間的相關性SUFi,Fj。
   if   SUFi,c>SUFj,c  then compute  SUFi,Fj
4. 刪除掉SUi,j大於SUj,c的特徵Fj，最後得到特徵子集。
   if   S
UFi,Fj>SUFj,c  then delete feature  Fj

該方法的優勢在於一對冗餘特徵Fi,Fj中，保留與目標C相關性更大的特徵Fi,剔除相關性更小的特徵，同時利用相關度更高的特徵Fi去篩選其他特徵，也減少了時間複雜度，因此是一種快速過濾特徵選擇演算法。

相關推薦

特徵選擇之 FCBF演算法

FCBF演算法介紹 具體詳述可見，提出該演算法的論文 Feature Selection for High-Dimensional Data: A Fast Correlation-Based Filter Solution FCBF演算法： 全稱 Fas

特徵選擇——Matrix Projection演算法研究與實現

內容提要 引言 MP特徵選擇思想 MP特徵選擇演算法 MP特徵選擇分析 實驗結果 分析總結 引言   一般選擇文字的片語作為分類器輸入向量的特徵語義單元，而作為單詞或詞語的片語，在任何一種語言中都有數萬或數十萬個。另外

【機器學習】特徵選擇之最小冗餘最大相關性(mRMR)與隨機森林(RF)

特徵選擇之最小冗餘最大相關性(mRMR) 最小冗餘最大相關性(mRMR)是一種濾波式的特徵選擇方法，由Peng et.al提出。主要用途有機器學習，影象識別等。 一種常用的特徵選擇方法是最大化特徵與分類變數之間的相關度，就是選擇與分類變數擁有最高相關度的前k個變數。但是，在特徵選擇中，

特徵選擇之方差選擇法VarianceThreshold

VarianceThreshold #方差選擇法 #使用方差選擇法，先要計算各個特徵的方差，然後根據閾值，選擇方差大於閾值的特徵。使用feature_selection庫的VarianceThreshold類來選擇特徵的程式碼如下： from sklearn.f

特徵選擇之卡方統計 Chi-Square

%%%   dataset中的最後一列為分類類別，k為要選擇的特徵個數 function result=chiAttributeEva(dataset,k) % character_order character_order=[]; % the count of class

特徵選擇之SVD分解

Singular Value Decomposition 奇異值分解( The singular value decomposition ) 是線性代數中一種重要的矩陣分解。能夠用小得多的資料表示原始資料集，並且能夠去除噪聲和冗餘。 優缺點 優點：可去除噪

機器學習特徵選擇之卡方檢驗與互資訊

by wangben  @ beijing 特徵選擇的主要目的有兩點： 1.      減少特徵數量提高訓練速度，這點對於一些複雜模型來說尤其重要 2.      減少noisefeature以提高模型在測試集上的準確性。一些噪音特徵會導致模型出現錯誤的泛化（genera

文字特徵選擇——TF-IDF演算法（Python3實現）

1、TF-IDF演算法介紹        TF-IDF（term frequency–inverse document frequency，詞頻-逆向檔案頻率）是一種用於資訊檢索（information retrieval）與文字挖掘（text mining）的常用加權技術

基於影象配準的影象特徵檢測之sift演算法----sift演算法總結

身為菜鳥的我，花了將近3個月的時間把sift演算法吃透並自己把演算法實現啦，實在是耗時耗力呀，為了對得起我這段時間的努力，決定把自己對sift演算法的理解和大家分享一下，有什麼錯誤望各位大神指教，小妹在此獻醜啦。 一     概念 sift---Scale Invari

文字特徵選擇的關鍵演算法總結

一、特徵詞選擇與特徵詞權重關係 開始學文字分類的時候經常要搞暈特徵詞選擇和特徵詞權重 這兩個東西，因為兩者都要進行量化，很容易認為特徵詞選擇就是計算權重，因此我認為有必要先搞清楚這兩個概念。 兩者的區別 ：特徵詞選擇是為了降低文字表示的維度，而特徵詞權重是為

特徵選擇之支援向量機遞迴特徵消除（SVM-RFE）

支援向量機遞迴特徵消除(下文簡稱SVM-RFE)是由Guyon等人在對癌症分類時提出來的，最初只能對兩類資料進行特徵提取。它是一種基於Embedded方法。 支援向量機 支援向量機廣泛用於模式識別，機器學習等領域，SVM採用結構風險最小化原則，同時最小化

粒子群優化演算法(PSO)之基於離散化的特徵選擇(FS)（二）

作者：Geppetto 前面我們介紹了特徵選擇(Feature Selection，FS)與離散化資料的重要性，總覽的介紹了PSO在FS中的重要性和一些常用的方法。今天講一講FS與離散化的背景，介紹本文所採用的基於熵的切割點和最小描述長度原則(MDLP

Spark_Mllib系列之二———提取，轉化和特徵選擇

Extracting, transforming and selecting features 這部分將會講到特徵的演算法，粗略的分為一下幾個部分： 特徵的提取 TF-IDF 詞條頻率－逆向檔案頻率是一種被廣泛使用在文字提取的向量化特徵的方法，反映了一個詞條對一篇語料庫

特徵選擇(2):mRMR特徵選擇演算法(matlab程式碼實現)

mRMR是什麼 是基於最大相關最小冗餘的特徵選擇方法。 要點：1.相關是特徵列與類標的相關性，也可以值特徵之間的相關性，通常來說，特徵與類標相關性越高，說明這個特徵越重要。則選擇這個特徵，這就是最大相關。 2.最小冗餘：特徵選擇的目的就是減少分類器的負擔，減少不需要的特徵。而兩個特徵之間

特徵選擇(1):特徵相關性度量之互資訊量(matlab程式碼實現)

互資訊的概念 互資訊量定義基於資訊熵的概念。在資訊理論中，資訊熵可度量變數的不確定性。設在隨機空間中，某一離散變數X 的概率分佈為p(x)，則X 的資訊熵定義為：                  

《資料結構與演算法》之排序演算法（氣泡排序、選擇排序）

排序(Sorting) 是計算機程式設計中的一種重要操作，它的功能是將一個數據元素（或記錄）的任意序列，重新排列成一個關鍵字有序的序列。 排序演算法分類： 一、非線性時間比較類排序 1、交換排序（氣泡排序、快速排序） 2、插入排序（簡單插入排序、布林排序） 3、選擇排序（簡單選擇

2. 特徵工程之特徵選擇

1. 前言 當資料預處理完成後，我們需要選擇有意義的特徵輸入機器學習的演算法和模型進行訓練。 在做資料分析的時候，特徵的來源一般有兩塊，一塊是業務已經整理好各種特徵資料，我們需要去找出適合我們問題需要的特徵；另一塊是我們從業務特徵中自己去尋找高階資料特徵。我們就針對這兩部分來分別討論。 2. 特徵選擇的

基於互資訊的特徵選擇演算法MATLAB實現

在概率論和資訊理論中，兩個隨機變數的互資訊（Mutual Information，簡稱MI）或轉移資訊（transinformation）是變數間相互依賴性的量度。不同於相關係數，互資訊並不侷限於實值隨機變數，它更加一般且決定著聯合分佈 p(X,Y) 和分解的邊緣分佈的乘積 p(X)p(

特徵選擇mRMR演算法程式碼實現及安裝下載

演算法程式碼實現連線可以直接下載解壓執行，在mac或者Linux系統下：https://github.com/csuldw/MachineLearning/tree/master/mRMR    要看懂result.out檔案結果中，有兩個關鍵字：*** MaxRel fea

Kata系列之排序演算法的選擇排序

Kata系列之排序演算法的選擇排序 /*** 簡單選擇排序* 一個原地（in-place）排序，適用於小檔案。* 由於選擇操作時基於鍵值的且交換操作只在需要時才執行，* 所以選擇排序長使用者數值較大和鍵值較小的檔案。* * 在未排序序列中找到最小元素，存放到排序序列的起始位置