一、課題背景概述

文字挖掘是一門交叉性學科,涉及資料探勘、機器學習、模式識別、人工智慧、統計學、計算機語言學、計算機網路技術、資訊學等多個領域。文字挖掘就是從大量的文件中發現隱含知識和模式的一種方法和工具,它從資料探勘發展而來,但與傳統的資料探勘又有許多不同。文字挖掘的物件是海量、異構、分佈的文件(web);文件內容是人類所使用的自然語言,缺乏計算機可理解的語義。傳統資料探勘所處理的資料是結構化的,而文件(web)都是半結構或無結構的。所以,文字挖掘面臨的首要問題是如何在計算機中合理地表示文字,使之既要包含足夠的資訊以反映文字的特徵,又不至於過於複雜使學習演算法無法處理。在浩如煙海的網路資訊中,80%的資訊是以文字的形式存放的，WEB文字挖掘是WEB內容挖掘的一種重要形式。

文字的表示及其特徵項的選取是文字挖掘、資訊檢索的一個基本問題，它把從文字中抽取出的特徵詞進行量化來表示文字資訊。將它們從一個無結構的原始文字轉化為結構化的計算機可以識別處理的資訊，即對文字進行科學的抽象，建立它的數學模型，用以描述和代替文字。使計算機能夠通過對這種模型的計算和操作來實現對文字的識別。由於文字是非結構化的資料,要想從大量的文字中挖掘有用的資訊就必須首先將文字轉化為可處理的結構化形式。目前人們通常採用向量空間模型來描述文字向量,但是如果直接用分詞演算法和詞頻統計方法得到的特徵項來表示文字向量中的各個維,那麼這個向量的維度將是非常的大。這種未經處理的文字向量不僅給後續工作帶來巨大的計算開銷,使整個處理過程的效率非常低下,而且會損害分類、聚類演算法的精確性,從而使所得到的結果很難令人滿意。因此,必須對文字向量做進一步淨化處理,在保證原文含義的基礎上,找出對文字特徵類別最具代表性的文字特徵。為了解決這個問題,最有效的辦法就是通過特徵選擇來降維。

目前有關文字表示的研究主要集中於文字表示模型的選擇和特徵詞選擇演算法的選取上。用於表示文字的基本單位通常稱為文字的特徵或特徵項。特徵項必須具備一定的特性:1)特徵項要能夠確實標識文字內容;2)特徵項具有將目標文字與其他文字相區分的能力;3)特徵項的個數不能太多;4)特徵項分離要比較容易實現。在中文文字中可以採用字、詞或短語作為表示文字的特徵項。相比較而言，詞比字具有更強的表達能力，而詞和短語相比，詞的切分難度比短語的切分難度小得多。因此，目前大多數中文文字分類系統都採用詞作為特徵項，稱作特徵詞。這些特徵詞作為文件的中間表示形式，用來實現文件與文件、文件與使用者目標之間的相似度計算。如果把所有的詞都作為特徵項，那麼特徵向量的維數將過於巨大，從而導致計算量太大，在這樣的情況下，要完成文字分類幾乎是不可能的。特徵抽取的主要功能是在不損傷文字核心資訊的情況下儘量減少要處理的單詞數，以此來降低向量空間維數，從而簡化計算，提高文字處理的速度和效率。文字特徵選擇對文字內容的過濾和分類、聚類處理、自動摘要以及使用者興趣模式發現、知識發現等有關方面的研究都有非常重要的影響。通常根據某個特徵評估函式計算各個特徵的評分值，然後按評分值對這些特徵進行排序，選取若干個評分值最高的作為特徵詞，這就是特徵抽取(Feature Selection)。

特徵選取的方式有4種：(I)用對映或變換的方法把原始特徵變換為較少的新特徵；(2)從原始特徵中挑選出一些最具代表性的特徵；(3)根據專家的知識挑選最有影響的特徵；(4)用數學的方法進行選取，找出最具分類資訊的特徵，這種方法是一種比較精確的方法，人為因素的干擾較少，尤其適合於文字自動分類挖掘系統的應用。

隨著網路知識組織、人工智慧等學科的發展,文字特徵提取將向著數字化、智慧化、語義化的方向深入發展,在社會知識管理方面發揮更大的作用。

二、文字特徵向量

經典的向量空間模型(VSM: Vector Space Model)由Salton等人於60年代提出，併成功地應用於著名的SMART文字檢索系統。VSM概念簡單,把對文字內容的處理簡化為向量空間中的向量運算,並且它以空間上的相似度表達語義的相似度,直觀易懂。當文件被表示為文件空間的向量，就可以通過計算向量之間的相似性來度量文件間的相似性。文字處理中最常用的相似性度量方式是餘弦距離。文字挖掘系統採用向量空間模型,用特徵詞條(T1 ,T2 ,…Tn) 及其權值Wi 代表目標資訊,在進行資訊匹配時,使用這些特徵項評價未知文字與目標樣本的相關程度。特徵詞條及其權值的選取稱為目標樣本的特徵提取,特徵提取演算法的優劣將直接影響到系統的執行效果。

設D為一個包含m個文件的文件集合,Di為第i個文件的特徵向量,則有

D={D1,D2,…,Dm},　Di=(di1,di2,…,din),i=1,2,…,m

其中dij(i=1,2,…,m;j=1,2,…,n)為文件Di中第j個詞條tj的權值,它一般被定義為tj在Di中出現的頻率tij的函式,例如採用TFIDF函式,即dij=tij*log(N/nj)其中,N是文件資料庫中文件總數,nj是文件資料庫含有詞條tj的文件數目。假設使用者給定的文件向量為Di,未知的文件向量為Dj,則兩者的相似程度可用兩向量的夾角餘弦來度量,夾角越小說明相似度越高。相似度的計算公式如下:

通過上述的向量空間模型,文字資料就轉換成了計算機可以處理的結構化資料,兩個文件之間的相似性問題轉變成了兩個向量之間的相似性問題。

三、基於統計的特徵提取方法(構造評估函式)

一、各種流行演算法

這型別演算法通過構造評估函式,對特徵集合中的每個特徵進行評估,並對每個特徵打分，這樣每個詞語都獲得一個評估值,又稱為權值。然後將所有特徵按權值大小排序,提取預定數目的最優特徵作為提取結果的特徵子集。顯然,對於這型別演算法,決定文字特徵提取效果的主要因素是評估函式的質量。

1、TF-IDF：

單詞權重最為有效的實現方法就是TF*IDF, 它是由Salton在1988 年提出的。其中TF 稱為詞頻, 用於計算該詞描述文件內容的能力; IDF 稱為反文件頻率, 用於計算該詞區分文件的能力。TF*IDF 的指導思想建立在這樣一條基本假設之上: 在一個文字中出現很多次的單詞, 在另一個同類文字中出現次數也會很多, 反之亦然。所以如果特徵空間座標系取TF 詞頻作為測度, 就可以體現同類文字的特點。另外還要考慮單詞區別不同類別的能力, TF*IDF 法認為一個單詞出現的文字頻率越小, 它區別不同類別的能力就越大, 所以引入了逆文字頻度IDF 的概念, 以TF 和IDF 的乘積作為特徵空間座標系的取值測度。

TFIDF 法是以特徵詞在文件d中出現的次數與包含該特徵詞的文件數之比作為該詞的權重，即

其中， Wi表示第i個特徵詞的權重，TFi(t，d)表示詞t在文件d中的出現頻率，N表示總的文件數，DF(t)表示包含t的文件數。用TFIDF演算法來計算特徵詞的權重值是表示當一個詞在這篇文件中出現的頻率越高，同時在其他文件中出現的次數越少，則表明該詞對於表示這篇文件的區分能力越強，所以其權重值就應該越大。將所有詞的權值排序, 根據需要可以有兩種選擇方式:( 1) 選擇權值最大的某一固定數n 個關鍵詞;( 2) 選擇權值大於某一閾值的關鍵詞。一些實驗表示,人工選擇關鍵詞, 4∽7 個比較合適, 機選關鍵詞10∽15 通常具有最好的覆蓋度和專指度。

TFIDF演算法是建立在這樣一個假設之上的：對區別文件最有意義的詞語應該是那些在文件中出現頻率高，而在整個文件集合的其他文件中出現頻率少的詞語，所以如果特徵空間座標系取TF詞頻作為測度，就可以體現同類文字的特點。另外考慮到單詞區別不同類別的能力，TFIDF法認為一個單詞出現的文字頻數越小，它區別不同類別文字的能力就越大。因此引入了逆文字頻度IDF的概念，以TF和IDF的乘積作為特徵空間座標系的取值測度，並用它完成對權值TF的調整，調整權值的目的在於突出重要單詞，抑制次要單詞。但是在本質上IDF是一種試圖抑制噪音的加權，並且單純地認為文字頻數小的單詞就越重要，文字頻數大的單詞就越無用，顯然這並不是完全正確的。IDF的簡單結構並不能有效地反映單詞的重要程度和特徵詞的分佈情況，使其無法很好地完成對權值調整的功能，所以TFIDF法的精度並不是很高。

此外，在TFIDF演算法中並沒有體現出單詞的位置資訊，對於Web文件而言，權重的計算方法應該體現出HTML的結構特徵。特徵詞在不同的標記符中對文章內容的反映程度不同，其權重的計算方法也應不同。因此應該對於處於網頁不同位置的特徵詞分別賦予不同的係數，然後乘以特徵詞的詞頻，以提高文字表示的效果。

2、詞頻方法(Word Frequency)：

詞頻是一個詞在文件中出現的次數。通過詞頻進行特徵選擇就是將詞頻小於某一閉值的詞刪除，從而降低特徵空間的維數。這個方法是基於這樣一個假設，即出現頻率小的詞對過濾的影響也較小。但是在資訊檢索的研究中認為，有時頻率小的詞含有更多的資訊。因此，在特徵選擇的過程中不宜簡單地根據詞頻大幅度刪詞。

3、文件頻次方法(Document Frequency)：

文件頻數(Document Frequency, DF)是最為簡單的一種特徵選擇演算法,它指的是在整個資料集中有多少個文字包含這個單詞。在訓練文字集中對每個特徵計一算它的文件頻次，並且根據預先設定的闌值去除那些文件頻次特別低和特別高的特徵。文件頻次通過在訓練文件數量中計算線性近似複雜度來衡量巨大的文件集，計算複雜度較低，能夠適用於任何語料，因此是特徵降維的常用方法。

在訓練文字集中對每個特徵計算它的文件頻數,若該項的DF 值小於某個閾值則將其刪除,若其DF 值大於某個閾值也將其去掉。因為他們分別代表了“沒有代表性”和“沒有區分度”2 種極端的情況。DF 特徵選取使稀有詞要麼不含有用資訊,要麼太少而不足以對分類產生影響,要麼是噪音,所以可以刪去。DF 的優點在於計算量很小,而在實際運用中卻有很好的效果。缺點是稀有詞可能在某一類文字中並不稀有,也可能包含著重要的判斷資訊,簡單捨棄,可能影響分類器的精度。

文件頻數最大的優勢就是速度快,它的時間複雜度和文字數量成線性關係,所以非常適合於超大規模文字資料集的特徵選擇。不僅如此,文件頻數還非常地高效,在有監督的特徵選擇應用中當刪除90%單詞的時候其效能與資訊增益和x2 統計的效能還不相上下。DF 是最簡單的特徵項選取方法, 而且該方法的計算複雜度低, 能夠勝任大規模的分類任務。

但如果某一稀有詞條主要出現在某類訓練集中,卻能很好地反映類別的特徵,而因低於某個設定的閾值而濾除掉,這樣就會對分類精度有一定的影響。

4、互資訊(Mutual Information)：

互資訊衡量的是某個詞和類別之間的統計獨立關係,某個詞t和某個類別Ci傳統的互資訊定義如下:

互資訊是計算語言學模型分析的常用方法，它度量兩個物件之間的相互性。在過濾問題中用於度量特徵對於主題的區分度。互資訊的定義與交叉嫡近似。互資訊本來是資訊理論中的一個概念,用於表示資訊之間的關係, 是兩個隨機變數統計相關性的測度，使用互資訊理論進行特徵抽取是基於如下假設:在某個特定類別出現頻率高,但在其他類別出現頻率比較低的詞條與該類的互資訊比較大。通常用互資訊作為特徵詞和類別之問的測度，如果特徵詞屬於該類的話，它們的互資訊量最大。由於該方法不需要對特徵詞和類別之問關係的性質作任何假設，因此非常適合於文字分類的特徵和類別的配準工作。

特徵項和類別的互資訊體現了特徵項與類別的相關程度, 是一種廣泛用於建立詞關聯統計模型的標準。互資訊與期望交叉熵的不同在於沒有考慮特徵出現的頻率, 這樣導致互資訊評估函式不選擇高頻的有用詞而有可能選擇稀有詞作為文字的最佳特徵。因為對於每一主題來講，特徵t的互資訊越大，說明它與該主題的共現概率越大，因此，以互資訊作為提取特徵的評價時應選互資訊最大的若干個特徵。

互資訊計算的時間複雜度類似於資訊增益, 互資訊的平均值就是資訊增益。互資訊的不足之處在於得分非常受詞條邊緣概率的影響。

實驗資料顯示,互資訊分類效果最差,其次是文件頻率、CC 統計,CHI 統計分類效果最好。

對互資訊而言,提高分類精度的方法有:1) 可以增加特徵空間的維數,以提取足夠多的特徵資訊,這樣就會帶來了時間和空間上的額外開銷;2) 根據互資訊函式的定義,認為這些低頻詞攜帶著較為強烈的類別資訊,從而對它們有不同程度的倚重. 當訓練語料庫沒有達到一定規模的時候,特徵空間中必然會存在大量的出現文件頻率很低(比如低於3 次) 的詞條,他們較低的文件頻率導致了他們必然只屬於少數類別. 但是從抽取出來的特徵詞觀察發現,大多數為生僻詞,很少一部分確實帶有較強的類別資訊,多數詞攜帶少量的類別資訊,甚至是噪音詞.

5、期望交叉熵(Expected Cross Entropy)：

交叉嫡與資訊量的定義近似，其公式為:

交叉嫡 ，也稱KL距離。它反映了文字主題類的概率分佈和在出現了某特定詞彙的條件下文字主題類的概率分佈之間的距離，詞彙w的交叉嫡越大，對文字主題類分佈的影響也越大。它與資訊增益唯一的不同之處在於沒有考慮單詞未發生的情況，只計算出現在文字中的特徵項。如果特徵項和類別強相關, P ( Ci | w )就大,若P( Ci) 又很小的話,則說明該特徵對分類的影響大。

交叉熵反映了文字類別的概率分佈和在出現了某個特定詞的條件下文字類別的概率分佈之間的距離, 特徵詞t 的交叉熵越大, 對文字類別分佈的影響也越大。熵的特徵選擇效果都要優於資訊增益。

6、二次資訊熵(QEMI)：

將二次熵函式應用於互資訊評估方法中，取代互資訊中的Shannon熵，就形成了基於二次熵的互資訊評估函式。基於二次熵的互資訊克服了互資訊的隨機性，是一個確定的量，因此可以作為資訊的整體測度，另外它還比互資訊最大化的計算複雜度要小，所以可以比較高效地用在基於分類的特徵選取上。

二次熵的概念是在廣義資訊理論中提出的。廣義熵：

當 ，就得到了二次熵定義：

7、資訊增益方法(Information Gain)：

資訊增益方法是機器學習的常用方法，在過濾問題中用於度量已知一個特徵是否出現於某主題相關文字中對於該主題預測有多少資訊。通過計算資訊增益可以得到那些在正例樣本中出現頻率高而在反例樣本中出現頻率低的特徵，以及那些在反例樣本中出現頻率高而在正例樣本中出現頻率低的特徵。資訊增益G(w)的訓算公式如下:

其中P(w)是詞w出現的概率，P(Ci)是取第i個目錄時的概率，P(C,|w ) 是假定w出現時取第i個目錄的概率。

資訊增益是一種基於熵的評估方法,涉及較多的數學理論和複雜的熵理論公式,定義為某特徵項為整個分類所能提供的資訊量,不考慮任何特徵的熵與考慮該特徵後的熵的差值。他根據訓練資料,計算出各個特徵項的資訊增益,刪除資訊增益很小的項,其餘的按照資訊增益從大到小排序。

資訊增益是資訊理論中的一個重要概念, 它表示了某一個特徵項的存在與否對類別預測的影響, 定義為考慮某一特徵項在文字中出現前後的資訊熵之差。某個特徵項的資訊增益值越大, 貢獻越大, 對分類也越重要。資訊增益方法的不足之處在於它考慮了特徵未發生的情況。特別是在類分佈和特徵值分佈高度不平衡的情況下, 絕大多數類都是負類, 絕大多數特徵都不出現。此時的函式值由不出現的特徵決定, 因此, 資訊增益的效果就會大大降低。資訊增益表現出的分類效能偏低。因為資訊增益考慮了文字特徵未發生的情況，雖然特徵不出現的情況腫可能對文字類別具有貢獻，但這種貢獻往往小於考慮這種情況時對特徵分值帶來的干擾。

8、x2統計量方法：

x2統計量用於度量特徵w和主題類C之間的獨立性。而表示除w以外的其他特徵，C表示除C以外的其他主題類，那麼特徵w和主題類C的關係有以下四種

情況: ，用A, B, C, D表示這四種情況的文件頻次，總的文件數N=A+B+C+D,擴統計量的計算公式如下:

當特徵w和主題類C之間完全獨立的時候，x2統計量為0。x2統計量和互資訊的差別在於它是歸一化的統計量，但是它對低頻特徵的區分效果也不好。X2 統計得分的計算有二次複雜度, 相似於互資訊和資訊增益。在 X2 統計和互資訊之間主要的不同在於 X2 是規格化評價, 因而 X2 評估分值對在同類中的詞是可比的, 但是 X2 統計對於低頻詞來說是不可靠的。

利用x2 統計方法來進行特徵抽取是基於如下假設:在指定類別文字中出現頻率高的詞條與在其他類別文字中出現頻率比較高的詞條,對判定文件是否屬於該類別都是很有幫助的.

採用x2估計特徵選擇演算法的準確率在實驗中最高，其分類效果受訓練集影響較小，比較穩定。而且在對文教類和政治類存在類別交叉現象的文字進行分類時，採用x2估計的分類系統表現出了優於其它方法的分類效能。X2估計的可靠性較好，便於對程式的控制，無需因訓練集的改變而人為的調節特徵閥值的大小。

9、文字證據權(The Weight of Evidence forText)：

文字證據權衡量類的概率和給定特徵時類的條件概率之間的差別。

10、優勢率(Odds Ratio)：

    優勢率只適用於二元分類的情況，其特點是隻關心文字特徵對於目標類的分值。Pos表示目標類，neg表示非目標類。

11、遺傳演算法(Genetic Algorithm, GA)：

文字實際上可以看作是由眾多的特徵詞條構成的多維空間,而特徵向量的選擇就是多維空間中的尋優過程,因此在文字特徵提取研究中可以使用高效尋優演算法。遺傳演算法(Genetic Algorithm, GA)是一種通用型的優化搜尋方法,它利用結構化的隨機資訊交換技術組合群體中各個結構中最好的生存因素,複製出最佳程式碼串,並使之一代一代地進化,最終獲得滿意的優化結果。在將文字特徵提取問題轉化為文字空間的尋優過程中,首先對Web文字空間進行遺傳編碼,以文字向量構成染色體,通過選擇、交叉、變異等遺傳操作,不斷搜尋問題域空間,使其不斷得到進化,逐步得到Web文字的最優特徵向量。

基於協同演化的遺傳演算法不是使用固定的環境來評價個體,而是使用其他的個體來評價特定個體。個體優劣的標準不是其生存環境以外的事物,而是由在同一生存競爭環境中的其他個體來決定。協同演化的思想非常適合處理同類文字的特徵提取問題。由於同一類別文字相互之間存在一定相關性,因而各自所代表的那組個體在進化過程中存在著同類之間的相互評價和競爭。因此,每個文字的特徵向量,即該問題中的個體,在不斷的進化過程中,不僅受到其母體(文字)的評價和制約,而且還受到種族中其他同類個體的指導。所以,基於協同演化的遺傳演算法不僅能反映其母體的特徵,還能反映其他同類文字的共性,這樣可以有效地解決同一主題眾多文字的集體特徵向量的提取問題,獲得反映整個文字集合某些特徵的最佳個體。

12、主成分分析法(Principal Component Analysis，PCA)：

它不是通過特徵選取的方式降維的，而是通過搜尋最能代表原資料的正交向量，創立一個替換的、較小的變數集來組合屬性的精華，原資料可以投影到這個較小的集合。PCA由於其處理方式的不同又分為資料方法和矩陣方法。矩陣方法中，所有的資料通過計算方差一協方差結構在矩陣中表示出來，矩陣的實現目標是確定協方差矩陣的特徵向量，它們和原始資料的主要成分相對應。在主成分方法中，由於矩陣方法的複雜度在n很大的情況 以二次方增長，因此人們又開發使用了主要使用Hebbian學習規則的PCA神經網路方法。

主成分分析法是特徵選取常用的方法之一，它能夠揭示更多有關變數_豐要方向的資訊。但它的問題在於矩陣方法中要使用奇異值分解對角化矩陣求解方差一協方差。

13、模擬退火演算法(Simulating Anneal，SA)：

特徵選取可以看成是一個組合優化問題，因而可以使用解決優化問題的方法來解決特徵選取的問題。模擬退火演算法(Simulating Anneal，SA)就是其中一種方法。

模擬退火演算法是一個很好的解決優化問題的方法，將這個方法運用到特徵選取中，理論上能夠找到全域性最優解，但在初始溫度的選取和鄰域的選取t要恰當，必須要找到一個比較折中的辦法，綜合考慮解的效能和演算法的速度。

14、N—Gram演算法

它的基本思想是將文字內容按位元組流進行大小為N的滑動視窗操作,形成長度為N的位元組片段序列。每個位元組片段稱為gram,對全部gram的出現頻度進行統計,並按照事先設定的閾值進行過濾,形成關鍵gram列表,即為該文字的特徵向量空間,每一種gram則為特徵向量維度。由於N—Gram演算法可以避免漢語分詞的障礙,所以在中文文字處理中具有較高的實用性。中文文字處理大多采用雙位元組進行分解,稱之為bi-gram。但是bigram切分方法在處理20%左右的中文多字詞時,往往產生語義和語序方面的偏差。而對於專業研究領域,多字詞常常是文字的核心特徵,處理錯誤會導致較大的負面影響。基於N—Gram改進的文字特徵提取演算法[2],在進行bigram切分時,不僅統計gram的出現頻度,而且還統計某個gram與其前鄰gram的情況,並將其記錄在gram關聯矩陣中。對於那些連續出現頻率大於事先設定閾值的,就將其合併成為多字特徵詞。這樣通過統計與合併雙字特徵詞,自動產生多字特徵詞,可以較好地彌補N—Gram演算法在處理多字詞方面的缺陷。

15、各種方法的綜合評價

上述幾種評價函式都是試圖通過概率找出特徵與主題類之間的聯絡，資訊增益的定義過於複雜，因此應用較多的是交叉嫡和互資訊。其中互資訊的效果要好於交又嫡，這是因為互資訊是對不同的主題類分別抽取特徵詞，而交叉嫡跟特徵在全部主題類內的分佈有關，是對全部主題類來抽取特徵詞。這些方法,在英文特徵提取方面都有各自的優勢,但用於中文文字,並沒有很高的效率。主要有2 個方面的原因:1) 特徵提取的計算量太大,特徵提取效率太低,而特徵提取的效率直接影響到整個文字分類系統的效率。2) 經過特徵提取後生成的特徵向量維數太高,而且不能直接計算出特徵向量中各個特徵詞的權重。

目前使用評估函式進行特徵選取越來越普遍，特徵選取演算法通過構造一個評估函式的方法，選取預定數目的最佳特徵作為特徵子集的結果。在幾種評估方法中，每一種方法都有一個選詞標準，遵從這個標準，從文字集的所有詞彙中選取出有某個限定範圍的特徵詞集。因為評估函式的構造不是特別複雜，適用範圍又很廣泛，所以越來越多的人們喜歡使用構造評估函式來進行特徵的選取。

這些評估函式在Web文字挖掘中被廣泛使用,特徵選擇精度普遍達到70%~80%,但也各自存在缺點和不足。例如,“資訊增益”考慮了單詞未發生的情況,對判斷文字類別貢獻不大,而且引入不必要的干擾,特別是在處理類分佈和特徵值分佈高度不平衡的資料時選擇精度下降。“期望交叉熵”與“資訊增益”的唯一不同就是沒有考慮單詞未發生的情況,因此不論處理哪種資料集,它的特徵選擇精度都優於“資訊增益”。與“期望交叉熵”相比,“互資訊”沒有考慮單詞發生的頻度,這是一個很大的缺點,造成“互資訊”評估函式經常傾向於選擇稀有單詞。“文字證據權”是一種構造比較新穎的評估函式,它衡量一般類的概率和給定特徵類的條件概率之間的差別,這樣在文字處理中,就不需要計算W的所有可能值,而僅考慮W在文字中出現的情況。“優勢率”不像前面所述的其他評估函式將所有類同等對待,它只關心目標類值,所以特別適用於二元分類器,可以儘可能多地識別正類,而不關心識別出負類。

從考慮文字類間相關性的角度,可以把常用的評估函式分為兩類,即類間不相關的和類間相關的。“文件頻數”(DF)是典型的類間不相關評估函式, DF的排序標準是依據特徵詞在文件中出現篇數的百分比,或稱為篇章覆蓋率。這種型別的評估函式,為了提高區分度,要儘量尋找篇章覆蓋率較高的特徵詞,但又要避免選擇在各類文字中都多次出現的無意義高頻詞,因此類間不相關評估函式對停用詞表的要求很高。但是,很難建立適用於多個類的停用詞表,停用詞不能選擇太多,也不能選擇太少,否則都將會影響特徵詞的選擇。同時,類間不相關評估函式還存在一個明顯的缺點,就是對於特徵詞有交叉的類別或特徵相近的類別,選擇的特徵詞會出現很多相似或相同的詞條,造成在特定類別間的區分度下降。類間相關的評估函式,例如期望交叉熵、互資訊、文字證據權等,綜合考慮了詞條在已定義的所有類別中的出現情況,可以通過調整特徵詞的權重,選擇出區分度更好的特徵,在一定程度上提高了相近類別的區分度。但是，該區分度的提高僅體現在已定義的類別間,而對於尚未定義的域外類別,類間相關評估函式的選擇效果也不理想。因此,在評估函式選擇問題上,提高對域外類別文字的區分度是十分重要的研究課題。    

傳統的特徵選擇方法大多采用以上各評估函式進行特徵權重的計算，由於這些評估函式是基於統計學的，其中一個主要缺陷就是需要用一個很龐大的訓練集才能獲得幾乎所有的對分類起關鍵作用的特徵．這需要消耗大量的時間和空間資源，況且，構建這樣一個龐大的訓練集也是一項十分艱鉅的工作。然而，在現實應用中，考慮到工作效率，不會也沒有足夠的資源去構建一個龐大的訓練集，這樣的結果就是：被選中的甚至是權重比較高的特徵，可能對分類沒有什麼用處，反而會干涉到正確的分類；而真正有用的特徵卻因為出現的頻率低而獲得較低的權重，甚至在降低特徵空間維數的時候被刪除掉了。

基於評估函式的特徵提取方法是建立在特徵獨立的假設基礎上,但在實際中這個假設是很難成立的,因此需要考慮特徵相關條件下的文字特徵提取方法。

二、影響特徵詞權值的因素分析

1、詞頻

    文字內空中的中頻詞往往具有代表性，高頻詞區分能力較小，而低頻詞或者示出現詞也常常可以做為關鍵特徵詞。所以詞頻是特徵提取中必須考慮的重要因素，並且在不同方法中有不同的應用公式。

2、詞性

漢語言中，能標識文字特性的往往是文字中的實詞，如名詞、動詞、形容詞等。而文字中的一些虛詞，如感嘆詞、介詞、連詞等，對於標識文字的類別特性並沒有貢獻，也就是對確定文字類別沒有意義的詞。如果把這些對文字分類沒有意思的虛詞作為文字特徵詞，將會帶來很大噪音，從而直接降低文字分類的效率和準確率。因此，在提取文字特徵時，應首先考慮剔除這些對文字分類沒有用處的虛詞，而在實詞中，又以名詞和動詞對於文字的類別特性的表現力最強，所以可以只提取文字中的名詞和動詞作為文字的一級特徵詞。

2、文件頻次

    出現文件多的特徵詞，分類區分能力較差，出現文件少的特徵詞更能代表文字的不同主題。

2、標題

標題是作者給出的提示文章內容的短語，特別在新聞領域，新聞報道的標題一般都要求要簡練、醒目，有不少縮略語，與報道的主要內容有著重要的聯絡，對摘要內容的影響不可忽視。統計分析表明,小標題的識別有助於準確地把握文章的主題。主要體現在兩個方面:正確識別小標題可以很好地把握文章的整體框架,理清文章的結構層次;同時,小標題本身是文章中心內容的高度概括。因此,小標題的正確識別能在一定程度上提高文摘的質量。

3、位置

美國的EE．Baxendale的調查結果顯示：段落的論題是段落首句的概率為85％，是段落末句的概率為7％。而且新聞報道性文章的形式特徵決定了第一段一般是揭示文章主要內容的。因此，有必要提高處於特殊位置的句子權重，特別是報道的首旬和末句。但是這種現象又不是絕對的，所以，我們不能認為首句和末句就一定是所要摘要的內容，因此可以考慮一個折衷的辦法，即首句和末句的權重上可通過統計數字擴大一個常數倍。首段、末段、段首、段尾、標題和副標題、子標題等處的句子往往在較大程度上概述了文章的內容。對於出現在這些位置的句子應該加大權重。

Internet上的文字資訊大多是HTML結構的，對於處於Web文字結構中不同位置的單詞，其相應的表示文字內容或區別文字類別的能力是不同的，所以在單詞權值中應該體現出該詞的位置資訊。

4、句法結構

句式與句子的重要性之間存在著某種聯絡，比如摘要中的句子大多是陳述句，而疑問句、感嘆句等則不具內容代表性。而通常“總之”、“綜上所述”等一些概括性語義後的句子，包含了文字的中心內容。

5、專業詞庫

通用詞庫包含了大量不會成為特徵項的常用詞彙,為了提高系統執行效率,系統根據挖掘目標建立專業的分詞表,這樣可以在保證特徵提取準確性的前提下,顯著提高系統的執行效率。

使用者並不在乎具體的哪一個詞出現得多,而在乎泛化的哪一類詞出現得多。真正起決定作用的是某一類詞出現的總頻率。基於這一原理,我們可以先將詞通過一些方法依主題領域劃分為多個類,然後為文字提取各個詞類的詞頻特徵,以完成對文字的分類。

可以通過人工確定領域內的關鍵詞集。

6、資訊熵

熵(Entropy)在資訊理論中是一個非常重要的概念 ' ，它是不確定性的一種度量。資訊熵方法的基本目的是找出某種符號系統的資訊量和多餘度之間的關係，以便能用最小的成本和消耗來實現最高效率的資料儲存、管理和傳遞。資訊熵是數學方法和語言文字學的結合，其定義為：設x是取有限個值的隨機變數，各個取值出現的概率為則的熵為其中，底數n可以為任意正數，並規定當時， =0。在式(3)中，對數底a決定了熵的單位，如a=2、e、10，熵的單位分別為Bit，nat，Hartley。在我們的研究論文中，均取a＝2。熵具有最大值和最小值，由熵的定義公式可以看出，當每個值出現的概率相等時，即當 時 這時熵函式達到最大值 ，記為最大熵 。其中Pt ≥0，並且 。而當 n)時，熵值最小，Entropy(X)=0。

我們將可以將資訊理論中的熵原理引入到特徵詞權重的計算中。

7、文件、詞語長度

一般情況下,詞的長度越短,其語義越泛。一般來說, 中文中詞長較長的詞往往反映比較具體、下位的概念, 而短的詞常常表示相對抽象、上位的概念一般說來, 短詞具有較高的頻率和更多的含義, 是面向功能的;而長詞的頻率較低, 是面向內容的, 增加長詞的權重, 有利於詞彙進行分割, 從而更準確地反映出特徵詞在文章中的重要程度。詞語長度通常不被研究者重視。但是本文在實際應用中發現,關鍵詞通常是一些專業學術組合詞彙,長度較一般詞彙長。考慮候選詞的長度,會突出長詞的作用。長度項也可以使用對數函式來平滑詞彙間長度的劇烈差異。通常來說,長詞彙含義更明確,更能反映文字主題,適合作為關鍵詞,因此將包含在長詞彙中低於一定過濾閾值的短詞彙進行了過濾。所謂過濾閾值,就是指進行過濾短詞彙的後處理時,短詞彙的權重和長詞彙的權重的比的最大值。如果低於過濾閾值,則過濾短詞彙,否則保留短詞彙。

根據統計,二字詞彙多是常用詞,不適合作為關鍵詞,因此對實際得到的二字關鍵詞可以做出限制。比如,抽取5 個關鍵詞,本文最多允許3 個二字關鍵詞存在。這樣的後處理無疑會降低關鍵詞抽取的準確度和召回率,但是同候選詞長度項的運用一樣,人工評價效果將會提高。

8、詞語間關聯

9、單詞的區分能力

在TF*IDF 公式的基礎上, 又擴充套件了一項單詞的類區分能力。新擴充套件的項用於描述單詞與各個類別之間的相關程度。

10、詞語直徑(Diameter ( t) )

詞語直徑是指詞語在文字中首次出現的位置和末次出現的位置之間的距離。詞語直徑是根據實踐提出的一種統計特徵。根據經驗,如果某個詞彙在文字開頭處提到,結尾又提到,那麼它對該文字來說,是個很重要的詞彙。不過統計結果顯示,關鍵詞的直徑分佈出現了兩極分化的趨勢,在文字中僅僅出現了1 次的關鍵詞佔全部關鍵詞的14.184 %。所以詞語直徑是比較粗糙的度量特徵。

11、首次出現位置(FirstLoc ( t) )

Frank 在Kea 演算法中使用候選詞首次出現位置作為Bayes 概率計算的一個主要特徵,他稱之為距離(Distance)。簡單的統計可以發現,關鍵詞一般在文章中較早出現,因此出現位置靠前的候選詞應該加大權重。實驗資料表明,首次出現位置和詞語直徑兩個特徵只選擇一個使用就可以了。由於文獻資料加工問題導致中國學術期刊全文資料庫的全文資料不僅包含文章本身,還包含了作者、作者機構以及引文資訊,針對這個特點,使用首次出現位置這個特徵,可以儘可能減少全文資料的附加資訊造成的不良影響。

12、詞語分佈偏差(Deviation ( t) )

詞語分佈偏差所考慮的是詞語在文章中的統計分佈。在整篇文章中分佈均勻的詞語通常是重要的詞彙。詞語的分佈偏差計算公式如下: 其中,CurLoc ( tj ) 是詞彙t 在文章中第j 次出現的位置;MeanLoc ( t ) 是詞彙t 在文章中出現的平均位置。

13、特徵提取的一般步驟

一、候選詞的確定

 (1) 分詞(詞庫的擴充)

儘管現在分詞軟體的準確率已經比較高了，但是，它對專業術語的識別率還是很好，所以，為了進一步提高關鍵詞抽取的準確率，我們有必要在詞庫中添加了一個專業詞庫以保證分詞的質量。

(2) 停用詞的過濾

停用詞是指那些不能反映主題的功能詞。例如：“的”、“地”、“得”之類的助詞，以及像“然而”、“因此”等只能反映句子語法結構的詞語，它們不但不能反映文獻的主題，而且還會對關鍵詞的抽取造成干擾，有必要將其濾除。停用詞確定為所有虛詞以及標點符號。

(3) 記錄候選詞在文獻中的位置

為了獲取每個詞的位置資訊，需要確定記錄位置資訊的方式以及各個位置的詞在反映主題時的相對重要性。根據以往的研究結果，初步設定標題的位置權重為5，摘要和結論部分為3，正文為1，同時，把標題、摘要和結論、正文分別稱為5 區、3 區和1 區。確定了文章各個部分的位置權重之後，就可以用數字標籤對每個位置做一個標記。做法是：在標題的開頭標上數字5，在摘要和結論部分的段首標上數字3，在正文的段首標上數字1，這樣，當軟體逐詞掃描統計詞頻時，就可以記錄每個詞的位置資訊。

二、詞語權重計算

(1) 詞語權值函式的構造(見各不同演算法)

(2) 關鍵詞抽取

候選詞的權值確定以後，將權值排序，取前n個詞作為最後的抽取結果。

四、基於語義的特徵提取方法（結合領域）

一、基於語境框架的文字特徵提取方法

越來越多的現象表明，統計並不能完全取代語義分析。不考慮句子的含義和句子間的關係機械抽取，必然導致主題的準確率低，連貫性差，產生一系列問題，如主要內容缺失、指代詞懸掛、文摘句過長等。因此，理想的自動主題提取模型應當將兩種方法相結合。應當將語義分析融入統計演算法，基本的方法仍然是“統計-抽取”模型，因為這一技術已經相對成熟並擁有豐富的研究成果。

語境框架是一個三維的語義描述,把文字內容抽象為領域(靜態範疇)、情景(動態描述)、背景(褒貶、參照等)三個框架。在語境框架的基礎上,從語義分析入手,實現了4元組表示的領域提取演算法、以領域句類為核心的情景提取演算法和以物件語義立場網路圖為基礎的褒貶判斷。該方法可以有效地處理語言中的褒貶傾向、同義、多義等現象,表現出較好的特徵提取能力。

二、基於本體論的文字提取方法

應用本體論(On-tology)模型可以有效地解決特定領域知識的描述問題。具體針對數字影象領域的文字特徵提取,通過構建文字結構樹,給出特徵權值的計算公式。演算法充分考慮特徵詞的位置以及相互之間關係的分析,利用特徵詞統領長度的概念和計算方法,能夠更準確地進行特徵詞權值的計算和文字特徵的提取。

三、基於知網的概念特徵提取方法

對於文字的處理,尤其是中文文字處理,字、詞、短語等特徵項是處理的主要物件。但是字、詞、短語更多體現的是文件的詞彙資訊,而不是它的語義資訊,因而無法準確表達文件的內容;大多數關於文字特徵提取的研究方法只偏重考慮特徵發生的概率和所處的位置,而缺乏語義方面的分析;向量空間模型最基本的假設是各個分量間正交,但作為分量的詞彙間存在很大的相關性,無法滿足模型的假設。基於概念特徵的特徵提取方法是在VSM的基礎上,對文字進行部分語義分析,利用知網獲取詞彙的語義資訊,將語義相同的詞彙對映到同一概念,進行概念聚類,並將概念相同的詞合併成同一詞。用聚類得到的詞作為文件向量的特徵項,能夠比普通詞彙更加準確地表達文件內容,減少特徵之間的相關性和同義現象。這樣可以有效降低文件向量的維數,減少文件處理計算量,提高特徵提取的精度和效率。

五、可創新點

一、文字特徵提取及文字挖掘在軍事情報領域的應用研究

二、新的文字特徵表示模型

考慮使用二級向量進行文字特徵建模,關鍵詞向量能快速定位使用者的興趣領域,而擴充套件詞向量能準確反映使用者在該領域上的興趣偏好。結合領域知識，採用概念詞、同義詞或本體來代替具體的關鍵詞成為特徵詞，體現語義層面的需求和分析。

三、軍事情報領域專業主題詞庫、敏感詞庫的構造

    通過人機結合的方式，建立軍事情報領導的最佳關鍵詞表，即主題詞庫，或者語義庫。將專業詞庫應用於軍事系統的分詞、特徵提取、分類、資訊抽取和監控、文字挖掘等方面。

四、改進分詞演算法

    利用專業詞庫改進中科院ICTCLAS分詞系統(Java開源版)，並針對特徵提取需要，改進分詞步驟，直接在分詞過程中剔除無意義詞語，增加詞語附加資訊，整合相關因素影響值的計算，加快系統速度和效率。

五、改進特徵評價函式

    將影響因素中的經驗知識通過實驗和驗算定量表示(如位置影響、高頻詞權值增加)，形成可行的非性線加權公式。探索二次迭代演算法，在初次文字分析基礎上，記錄文字的結構組成特徵，記錄候選特徵詞，記錄文件集的組成特徵，然後根據加權理論調整演算法，第二次計算詞的權值，最終提取高準確度的特徵詞集。