2. 程式人生 > >樸素貝葉斯改進及其應用

樸素貝葉斯改進及其應用

阿新 • • 發佈：2018-12-27

1、貝葉斯定理

設clip_image002[30]是類標號未知的資料樣本，clip_image004[12]為某種假設，資料樣本clip_image002[31]屬於某特定的類 C ，對於該分類問題，期望確定clip_image007[16]，即給定觀測資料樣本clip_image002[32]，假定clip_image004[13]成立的概率，稱為後驗概率，或稱條件clip_image002[33]下clip_image004[14]的後驗概率。分類就是要確定clip_image007[17]。

例如，假定資料樣本集由顧客組成，用他們的年齡和收入情況進行分類。假定clip_image002[34]表示顧客的年齡在31歲到40之間並且中等收入，clip_image004[15]表示顧客將購買電腦，則clip_image007[18]反映的是觀察到顧客clip_image002[35]的年齡在31歲到40之間並且中等收入時，clip_image002[36]將購買電腦的確定程度。clip_image013[10]為先驗概率，在無論顧客clip_image002[37]的年齡和收入情況而購買電腦的概率。後驗概率clip_image007[19]比先驗概率clip_image013[11]基於更多的背景知識，而clip_image013[12]是獨立於clip_image002[38]的。與之類似，clip_image016[8]是在條件clip_image004[16]下，clip_image002[39]的後驗概率，即已知顧客clip_image002[40]購買電腦，其年齡在31歲到40歲之間並且中等收入的概率。由於通常情況下

clip_image007[20]難以直接計算，我們可以利用貝葉斯定理，通過相對容易計算的clip_image016[9]，來求解clip_image007[21]。

貝葉斯定理提供了一種由clip_image019[6]，clip_image013[13]和clip_image016[10]計算clip_image007[22]的方法，具體是：

clip_image021[4]

2、樸素的貝葉斯分類器

樸素貝葉斯分類就是假定一個屬性值對給定類的影響獨立於其他屬性的值，該假定稱作類條件獨立，做此假定是為了簡化計算，在此意義下稱為“樸素的”。樸素貝葉斯分類的工作過程如下：

（1）每個資料樣本用一個n維特徵向量clip_image023[6]表示，分別描述n個屬性clip_image025[6]樣本的n個度量。

（2）假定m個類clip_image027[4]。給定一個未知的資料樣本clip_image023[7]，樸素貝葉斯分類將未知的樣本分配給類clip_image029[4]，當且僅當

clip_image031[4]

根據貝葉斯定理clip_image033[4]，最大化clip_image035[6]即可進行分類，其中令clip_image035[7]最大的類clip_image038[16]稱為最大後驗假設。

（3）其中clip_image019[7]代表屬性集clip_image025[7]取值為clip_image041[4]時的聯合概率，為常數，所以最大化時只需使

clip_image043[4]最大即可。類clip_image038[17]的先驗概率可以用clip_image046[4]計算，其中clip_image048[4]是類clip_image050[4]中訓練樣本數，clip_image052[4]是訓練樣本總數。

（4）給定具有許多屬性的資料集，計算clip_image054[6]即clip_image056[4]的開銷可能非常大。為降低計算clip_image054[7]的開銷，可以做類條件獨立的樸素假定。在此情況下有：

clip_image058[4]概率clip_image060[4]可以由訓練樣本估值，其中：

（a）如果clip_image062[6]是離散屬性，clip_image064[4],其中clip_image066[4]是樣本集中屬於型別clip_image038[18]的樣本個數。clip_image068[4]是樣本集中於型別clip_image038[19]且屬性clip_image062[7]取值為clip_image071[4]的樣本個數。

（b）若clip_image073[4]是連續值屬性，常用的處理方法有兩種：一是對其離散化，然後按照離散值處理；另一種是假定這一屬性服從某一分佈。

對未知樣本clip_image002[41]分類的時候，對每個類clip_image038[20]，計算clip_image077[4]。樣本clip_image002[42]被指派到類clip_image038[21]當且僅當clip_image081[4]時，clip_image002[43]被指派到其clip_image084[4]最大的類clip_image038[22]。

二、實驗過程

1、實驗流程

本次實驗採用RSS資料來源採集網站資料，用到了下面兩個資料來源爬資料：

ny = feedparser.parse('http://newyork.craigslist.org/stp/index.rss')
sf = feedparser.parse('http://sfbay.craigslist.org/stp/index.rss')

得到每個網站的文章之後建立列表doclist，並且建立每篇文章相對應的類標籤classlist，再生成一個所有單詞出現的列表vocablist。接下來統計每個單詞出現的次數，次數出現較多的單詞一般是類似於and、the、for之類的並不能給分類帶來幫助的無用單詞，我們把這些高頻詞去掉。我們在doclist中隨機取20個作為測試集，剩餘的作為訓練集，先計算某個類佔的先驗概率pAbusive，再計算每個類每個單詞佔總的這個單詞出現的概率p0Vect,p1Vect，測試的時候把待測試的樣本向量分別乘以p0Vect,p1Vect再每個元素加起來分別加先驗概率取log。算出來哪個概率大就屬於哪個類。

2、改進演算法

我主要做了互資訊特徵選擇，也就是用互資訊選擇所有出現單詞中的一些做特徵。互資訊衡量的是某個特徵詞和類別之間的統計獨立關係。某個特徵詞t 和某個類別ci 傳統的互資訊定義度量兩個物件之間的相互性，在不良資訊過濾問題中用於度量特徵對於主題的區分度。則特徵詞 t 和類別 ci 的互資訊公式定義為:

clip_image087[5]

其中: P( t，ci) 表示訓練集中既包含特徵t 又屬於類別ci 的文件概率，P( t) 表示在整個文字訓練集中包含特徵t 的文件概率，P( ci) 表示在訓練集中屬於類別ci 的文件概率，P( t | ci)表示在類別ci 中包含特徵t 的文件概率。在某個類別ci 中出現的概率高，而在其他類別中出現的概率低的特徵t 將獲得較高的互資訊，也就有可能被選擇為類別ci 的特徵。 在m 個類別的文字訓練集上特徵項t 的互資訊定義為：

clip_image089[5]

互資訊根據特徵與類別共同出現的概率，度量特徵和類別的相關性。 對於某一類別ci 來講，特徵詞t 的互資訊越大，說明該詞與該類的共現概率越大。 下面利用一個簡單的例子對傳統互資訊演算法進行分析，設存在兩類文字c1 ，c2 ，每類中包含5 篇文件，特徵詞集合中有t1 ，t2 ，t3 三個詞，並且在類別c1 ，c2 的分佈情況如表1 所示。

clip_image091[5]

利用式( 2) 計算可得：

clip_image093[5]

我用這樣的計算方法到的每個單詞的互資訊，具體python實現如下：

def chooseN(trainMatrix,trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    MI=zeros(numWords)
    pCondition1=ones(numWords)
    pCondition0=ones(numWords)
    deleteN=[]
    for i in range(numWords):
        for j in range(numTrainDocs):
            if trainCategory[j]==1:
                pCondition1[i]=pCondition1[i]+trainMatrix[j][i]
            else:
                pCondition0[i]=pCondition0[i]+trainMatrix[j][i]
        MI[i]=pAbusive*log(pCondition1[i]/(pCondition1[i]+pCondition0[i]))+\
              (1-pAbusive)*log(pCondition0[i]/(pCondition1[i]+pCondition0[i]))
        if MI[i]>-0.8:
            deleteN.append(i)
    return deleteN

下圖是在一次計算中得到的MI：

clip_image095[5]

另外去高頻詞的時候發現去掉10個高頻詞的時候效果比較好。下面是實驗資料：

方法（錯誤率）

1

2

3

4

5

6

7

8

9

10

平均錯誤率

互資訊去10

0

0.15

0

0.05

0

0.05

0.1

0.1

0.1

0.05

0.06

互資訊

0.1

0.15

0

0.1

0

0.15

0.05

0

0.05

0.15

0.075

去10

0.25

0.35

0.35

0.4

0.4

0.35

0.3

0.35

0.25

0.35

0.335

去30

0.35

0.4

0.45

0.4

0.5

0.3

0.35

0.45

0.3

0.45

0.395

三、實驗小結

這次實驗相對前兩次比較難，首先要理解原來樸素貝葉斯的每個步驟的程式碼，對於改進還要看文獻，改進的互資訊又很難具體下手寫程式碼，最後找見一篇中文的“文字分類中互資訊特徵選擇方法的研究與演算法改進”的論文按照論文當中的方法才用程式碼實現，不過很奇怪的是計算到互資訊之後用互資訊小的做特徵詞反而得到了很好的效果，這和傳統的方法是相反的，而且對於實驗的兩個RSS源資料每天測試的結果不太一樣，有可能是網站新聞有變動之類的

相關推薦

樸素貝葉斯改進及其應用

1、貝葉斯定理 設是類標號未知的資料樣本，為某種假設，資料樣本屬於某特定的類 C ，對於該分類問題，期望確定，即給定觀測資料樣本，假定成立的概率，稱為後驗概率，或稱條件下的後驗概率。分類就是要確定。

sklearn中的樸素貝葉斯模型及其應用

1.使用樸素貝葉斯模型對iris資料集進行花分類 嘗試使用3種不同型別的樸素貝葉斯： 高斯分佈型 多項式型 伯努利型 2.使用sklearn.model_selection.cross_val_score()，對模型進行驗證 from sklearn.datasets import load

第11次作業 sklearn中的樸素貝葉斯模型及其應用

1.使用樸素貝葉斯模型對iris資料集進行花分類 嘗試使用3種不同型別的樸素貝葉斯： 高斯分佈型 多項式型 伯努利型 from sklearn import datasets iris=datasets.load_iris() from sklearn.naive_bayes import G

樸素貝葉斯法及其R實現

1. 樸素貝葉斯基本方法 1.1 貝葉斯分類法基本公式： P(Y=ck|X=x)=P(Y=ck)ΠjP(X(j)=x(j)|Y=ck)∑k(P(Y=ck)ΠjP(Xj=xj|Y=ck)),k=1,2,⋯,K 樸素貝葉斯分類器可以表示為 y=f(x)=ar

貝葉斯模型及其應用總結

本文參考整理眾多資料而成。 貝葉斯模型基礎     托馬斯·貝葉斯（Thomas Bayes）同學的詳細生平在這裡。以下摘一段 wikipedia上的簡介：所謂的貝葉斯方法源於他生前為解決一個“逆概”問題寫的一篇文章，而這篇文章是在他死後才由他的一位朋友發表出來

貝葉斯定理及其應用

事實上，貝葉斯決策很少只涉及A和B， 而是內部包含非常關鍵的隱變數（引數），涉及我們對所研究事物的一些基本預設。比如下面這個特別簡單的例子： 拋擲硬幣，一個硬幣被投擲10次9次朝上，那麼根據頻率學派的觀點， 得到第11次投擲的概率不變為0.5 ，如果你回答了0.9， 你經常會被看成一個傻X。 其實不然，天底

樸素貝葉斯分類器的應用 Naive Bayes classifier

upload dia get 等號 分布 eat 實現 維基 5.5 一、病人分類的例子 讓我從一個例子開始講起，你會看到貝葉斯分類器很好懂，一點都不難。 某個醫院早上收了六個門診病人，如下表。 　　癥狀　　職業　　　疾病 　　打噴嚏　護士　　　感冒 　　打噴嚏

【機器學習】--機器學習之樸素貝葉斯從初始到應用

rac AC 一個 pam 數據 ast 出現 相對 解決方法 一、前述 機器學習算法中，有種依據概率原則進行分類的樸素貝葉斯算法，正如氣象學家預測天氣一樣，樸素貝葉斯算法就是應用先前事件的有關數據來估計未來事件發生的概率。 二、具體 1、背景--貝葉斯定理引入對於兩個關聯

學習筆記（七）：樸素貝葉斯在Web安全中的六個應用

一、檢測Web異常操作        1.資料蒐集：一樣        2.特徵化             使用詞集模型，統計全部操作命令，去重後形

樸素貝葉斯演算法應用——垃圾簡訊分類

理解貝葉斯公式其實就只要掌握：1、條件概率的定義；2、乘法原理 P (

樸素貝葉斯應用：垃圾郵件分類

  import nltk nltk.download() from nltk.corpus import stopwords from nltk.stem import WordNetLemmatizer #預處理 def preprocessing(text): tokens

樸素貝葉斯應用：垃圾郵件分類(更新)

#讀取資料集 import csv file_path=r'jiangnan.txt' sms=open(file_path,'r',encoding='utf-8') sms_data=[] sms_label=[] text=csv.reader(sms,delimiter='\t') text

樸素貝葉斯應用

port form enc with mod cep numpy english 混淆矩陣 import nltk from nltk.corpus import stopwords from nltk.stem import WordNetLemmatizer impo

第十二次作業——樸素貝葉斯應用：垃圾郵件分類

text = "Everybody knows waste paper and used coke cans are discarded everywhere. You might have seen plastic bags flying in the sky and getting caught i

樸素貝葉斯分類器原理與應用、EM演算法原理及例項

文章目錄 貝葉斯定理與概率論中相關概念 屬性條件獨立性假設 樸素貝葉斯分類器 樸素貝葉斯分類器公式 離散屬性與連續屬性值的分別處理 樸素貝葉斯分類器例項 拉普拉斯修正 樸素貝葉斯分類器的應用：貝葉斯垃圾郵件

樸素貝葉斯詳解及其python實現

簡介          貝葉斯定理用Thomas Bayes的名字命名。早在18世紀，英國學者貝葉斯提出計算條件概率的公式用來解決如下問題：          假設B[1]、B[2]…B[n]互斥並且構成一個完備事件組，已知他們的概率P(B[i]),i=1,2,...,n,

Step by Step 改進樸素貝葉斯演算法

引言 如果你對naive bayes認識還處於初級階段，只瞭解基本的原理和假設，還沒有實現過產品級的程式碼，那麼這篇文章能夠幫助你一步步對原始的樸素貝葉斯演算法進行改進。在這個過程中你將會看到樸素貝葉斯假設的一些不合理處以及侷限性，從而瞭解為什麼這些假設在簡化你的演算法的

用起來不太樸素的樸素貝葉斯及其Python實現

作為一個聽起來非常Naive的分類器，Naive Bayes Classifier使用了“屬性條件獨立性假設”，也就是假設所有屬性相互獨立。分類器的目的，是對任一測試樣本x,利用貝葉斯定理求出後驗概率最大的輸出類。假設y一共可以取N個標籤，yc代表第c類。那麼

樸素貝葉斯演算法 & 應用例項

一、樸素貝葉斯演算法介紹 樸素貝葉斯，之所以稱為樸素，是因為其中引入了幾個假設（不用擔心，下文會提及）。而正因為這幾個假設的引入，使得模型簡單易理解，同時如果訓練得當，往往能收穫不錯的分類效果，因此這個系列以naive bayes開頭和大家見面。 因為樸素貝葉斯是貝葉

R語言之樸素貝葉斯演算法應用

樸素貝葉斯演算法在R語言中的應用，對應klaR包中的NaiveBayes（）方法。問題描述：主要通過樸素貝葉斯演算法對於測試資料集中的nmkat屬性值進行預測，我們使用的資料是KKNN包中的自帶資料m