2. 程式人生 > 實用技巧 >TF-IDF具體演算法和原理

TF-IDF具體演算法和原理

阿新 • • 發佈：2020-10-14

TF-IDF演算法

相關概念

  • 資訊檢索（IR）中最常用的一種文字關鍵資訊表示法

  • 基本資訊：

    • 如果某個詞在一篇文件中出現的頻率高，並且在語料庫中其它詞庫中其他文件中很少出現，則認為這個詞具有很好的類別區分能力。

  • 詞頻TF：Term Frequency，衡量一個term在文件中出現的有多頻繁

    • 平均而言，出現越頻繁的詞，其重要性可能就越高

  • 考慮到文章長度的差異，需要對詞頻做標準化

    • TF(t) = (t出現在文件中的次數) / (文件中的term總數)
    • TF(t) = (t出現在文件中的次數) / (文件中出現最多的term)

  • 逆文件頻率IDF：Inverse Document Frequency，用於模擬在該語料的實際使用環境中，某一個term有多重要。

    • 有些詞到處都出現，但是明顯沒什麼卵用。比如各種停用詞，過渡句用詞之類的。所以只看TF是沒什麼用的。
    • 因此把罕見的詞的重要性（weight）提高，把常見詞的重要性降低。

  • IDF的具體演算法：

    • IDF(t) = log(語料庫中的文件總數 / (含有該term的文件總數+1 ))
      • 加1是為了防止某term出現0次，導致結果無法計算。

  • TF-IDF = TF * IDF（相乘）

    • TF-IDF與一個詞在文件中的出現次數成正比
    • 與該詞在整個語料中的出現次數成反比
  • 缺點：
    • 簡單快速
    • 結果也比較符合實際情況

  • 缺點：

    • 單純以“詞頻”衡量一個詞的重要性，不夠全面，有時重要的詞可能出現次數並不多

    • 無法考慮詞與詞之間的相互關係

    • 這種演算法無法體現詞的位置資訊，出現位置靠前的詞語出現位置靠後的詞，都被視為重要性相同，這是不正確的

      • 一種解決方法是：對全文的第一段和每一段的第一句話，給與較大的權重。

　　TF（Term Frequency，縮寫為TF）也就是詞頻啦，即一個詞在文中出現的次數，統計出來就是詞頻TF，顯而易見，一個詞在文章中出現很多次，那麼這個詞肯定有著很大的作用，但是我們自己實踐的話，肯定會看到你統計出來的TF 大都是一些這樣的詞：‘的’，‘是’這樣的詞，這樣的詞顯然對我們的分析和統計沒有什麼幫助，反而有的時候會干擾我們的統計，當然我們需要把這些沒有用的詞給去掉，現在有很多可以去除這些詞的方法，比如使用一些停用詞的語料庫等。

　　假設我們把它們都過濾掉了，只考慮剩下的有實際意義的詞。這樣又會遇到了另一個問題，我們可能發現"中國"、"蜜蜂"、"養殖"這三個詞的出現次數一樣多。這是不是意味著，作為關鍵詞，它們的重要性是一樣的？

　　顯然不是這樣。因為"中國"是很常見的詞，相對而言，"蜜蜂"和"養殖"不那麼常見。如果這三個詞在一篇文章的出現次數一樣多，有理由認為，"蜜蜂"和"養殖"的重要程度要大於"中國"，也就是說，在關鍵詞排序上面，"蜜蜂"和"養殖"應該排在"中國"的前面。

　　所以，我們需要一個重要性調整係數，衡量一個詞是不是常見詞。如果某個詞比較少見，但是它在這篇文章中多次出現，那麼它很可能就反映了這篇文章的特性，正是我們所需要的關鍵詞。

　　用統計學語言表達，就是在詞頻的基礎上，要對每個詞分配一個"重要性"權重。最常見的詞（"的"、"是"、"在"）給予最小的權重，較常見的詞（"中國"）給予較小的權重，較少見的詞（"蜜蜂"、"養殖"）給予較大的權重。這個權重叫做"逆文件頻率"（Inverse Document Frequency，縮寫為IDF），它的大小與一個詞的常見程度成反比。

　　知道了"詞頻"（TF）和"逆文件頻率"（IDF）以後，將這兩個值相乘，就得到了一個詞的TF-IDF值。某個詞對文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的幾個詞，就是這篇文章的關鍵詞。

　　給出具體的公式：

　　考慮到文章有長短之分，為了便於不同文章的比較，進行"詞頻"標準化。

　　或者

　　2.計算逆文件頻率IDF

　　需要一個語料庫（corpus），用來模擬語言的使用環境。

　　如果一個詞越常見，那麼分母就越大，逆文件頻率就越小越接近0。分母之所以要加1，是為了避免分母為0（即所有文件都不包含該詞）。log表示對得到的值取對數。

　　3.計算TF-IDF

　　可以看到，TF-IDF與一個詞在文件中的出現次數成正比，與該詞在整個語言中的出現次數成反比。所以，自動提取關鍵詞的演算法就很清楚了，就是計算出文件的每個詞的TF-IDF值，然後按降序排列，取排在最前面的幾個詞。

　　還是以《中國的蜜蜂養殖》為例，假定該文長度為1000個詞，"中國"、"蜜蜂"、"養殖"各出現20次，則這三個詞的"詞頻"（TF）都為0.02。然後，搜尋Google發現，包含"的"字的網頁共有250億張，假定這就是中文網頁總數。包含"中國"的網頁共有62.3億張，包含"蜜蜂"的網頁為0.484億張，包含"養殖"的網頁為0.973億張。則它們的逆文件頻率（IDF）和TF-IDF如下：

　　從上表可見，"蜜蜂"的TF-IDF值最高，"養殖"其次，"中國"最低。（如果還計算"的"字的TF-IDF，那將是一個極其接近0的值。）所以，如果只選擇一個詞，"蜜蜂"就是這篇文章的關鍵詞。

　　除了自動提取關鍵詞，TF-IDF演算法還可以用於許多別的地方。比如，資訊檢索時，對於每個文件，都可以分別計算一組搜尋詞（"中國"、"蜜蜂"、"養殖"）的TF-IDF，將它們相加，就可以得到整個文件的TF-IDF。這個值最高的文件就是與搜尋詞最相關的文件。

　　TF-IDF演算法的優點是簡單快速，結果比較符合實際情況。缺點是，單純以"詞頻"衡量一個詞的重要性，不夠全面，有時重要的詞可能出現次數並不多。而且，這種演算法無法體現詞的位置資訊，出現位置靠前的詞與出現位置靠後的詞，都被視為重要性相同，這是不正確的。（一種解決方法是，對全文的第一段和每一段的第一句話，給予較大的權重。）

TF-IDF的具體實現

　　jieba，NLTK，sklearn，gensim等程式包都可以實現TF-IDF的計算。除演算法細節上有差異外，更多的是資料輸入/輸出格式上的不同。

使用jieba實現TD-IDF演算法

　　輸出結果會自動按照TF-IDF值降序排列，並且直接給出的是詞條而不是字典ID，便於閱讀使用。

　　可在計算TF-IDF時直接完成分詞，並使用停用詞表和自定義詞庫，非常方便。（直接傳入句子，不需要提前切分詞）

　　有預設的IDF語料庫，可以不訓練模型，直接進行計算

　　以單個文字為單位進行分析。

　　jieba核心是拿到關鍵詞本身

　　

jieba.analyse.extract_tags(

sentence 為待提取的文字
topK = 20 : 返回幾個 TF/IDF 權重最大的關鍵詞
withWeight = False : 是否一併返回關鍵詞權重值
allowPOS = () : 僅包括指定詞性的詞，預設值為空，即不篩選
)
jieba.analyse.set_idf_path(file_name)

jieba.analyse.set_stop_words(file_name)

關鍵詞提取時使用自定義停止詞（Stop Words）語料庫

勞動防護 13.900677652

生化學 13.900677652

奧薩貝爾 13.900677652

奧薩貝爾 13.900677652

考察隊員 13.900677652

jieba.analyse.TFIDF(idf_path = None)

新建 TFIDF模型例項
idf_path : 讀取已有的TFIDF頻率檔案（即已有模型）
使用該例項提取關鍵詞：TFIDF例項.extract_tags()
# 使用jieba提取關鍵詞，
import jieba
import jieba.analyse

# 注意：函式時在使用預設的TFIDF模型進行分析
t = jieba.analyse.extract_tags(chapter.txt[1])
print(t)  
# ['楊鐵心', '包惜弱', '郭嘯天', '顏烈', '丘處機', '武官', '楊二人', '官兵', ...]
print("返回權重值")
# 要求返回權重值
t = jieba.analyse.extract_tags(chapter.txt[1],withWeight=True)
print(t)
# [('楊鐵心', 0.21886511509515091), ('包惜弱', 0.1685852913570757), ('郭嘯天', 0.09908082913091291),...]

按照關鍵詞評分的重要性排序的結果。

　　t = jieba.analyse.extract_tags(chapter.txt[1])
　　print(t)  
　　# ['楊鐵心', '包惜弱', '郭嘯天', '顏烈', '丘處機', '武官', '楊二人', '官兵', ...]

如果想要進一步知道關鍵詞的具體評分值，加上withWeight=True

　　# 要求返回權重值
　　t = jieba.analyse.extract_tags(chapter.txt[1],withWeight=True)
　　print(t)
　　# [('楊鐵心', 0.21886511509515091), ('包惜弱', 0.1685852913570757), ('郭嘯天', 0.09908082913091291),...]


應用自定義詞典改善分詞效果
# 應用自定義詞典改善分詞效果
jieba.load_userdict('金庸小說詞庫.txt') # dict為自定義詞典的路徑

# 在TFIDF計算中直接應用停用詞表
jieba.analyse.set_stop_words('停用詞.txt')

Tfres = jieba.analyse.extract_tags(chapter.txt[1],withWeight=True)
print(Tfres[:10])
# [('楊鐵心', 0.24787133516800222), ('包惜弱', 0.1909279203321098), ('郭嘯天', 0.11221202335308209)...]

　使用自定義的TFIDF頻率檔案

#-------------------------------------------------------------------------------------------------
# 結巴分詞有一個預設的TFIDF權重表，或者說有一個現成的模型，可以用該模型直接用於這個語料的計算中。但是這樣的準確率不高

# 正確的做法是：我們應該把射鵰英雄傳全書拿來，做出一個TFIDF的權重頻率模型，然後把它讀進來，
# 如下，我們是用自定義的TFIDF頻率檔案‘idf.txt.big’

# 使用自定義TFIDF頻率檔案
jieba.analyse.set_idf_path('idf.txt.big')
TFres1 = jieba.analyse.extract_tags(chapter.txt[1],withWeight=True)
print('使用自定義TFIDF頻率檔案')
print(TFres1[:10])
# [('楊鐵心', 0.24787133516800222), ('包惜弱', 0.1909279203321098), ('郭嘯天', 0.11221202335308209)...]

使用gensim實現TF-IDF演算法

　　輸出格式為list，目的也是為後續的建模分析服務。

　　需要先使用背景語料庫進行模型訓練。

　　結果中給出的是字典ID，而不是具體的詞條（jieba給出的是具體詞條），直接閱讀結果比較困難。

　　

未完待續.......

相關推薦

TF-IDF具體演算法和原理

TF-IDF演算法 相關概念 資訊檢索（IR）中最常用的一種文字關鍵資訊表示法 基本資訊：

DES演算法和原理

Feistal框架是DES的主體，DES是在其基礎上搞出來的具體應用。 關於Feistal框架部分不再贅述，瞭解的可跳過，不瞭解的跳轉↓做好預習 https://blog.csdn.net/weixin_43289702/article/details/108913996

TF-IDF筆記（手寫和直接呼叫）

首先TF-IDF 全稱：term frequency–inverse document frequency，是一種用於資訊檢索與資料探勘的常用加權技術。

堆排序演算法的具體分析和實現

定義 堆就是完全二叉樹的資料結構，堆排序是利用二叉樹的孩子與雙親節點的比較來實現的排序方法。

分治演算法基本原理和實踐

一、基本概念 在電腦科學中，分治法是一種很重要的演算法。字面上的解釋是“分而治之”，就是把一個複雜的問題分成兩個或更多的相同或相似的子問題，再把子問題分成更小的子問題……直到最後子

Floyd演算法的原理和實現程式碼

原理 假設有向圖G=(V，E)採用鄰接矩陣儲存。設定一個二維陣列A用於存放當前頂點之間的最短路徑長度，分量A[i][j]表示當前頂點i -> j的最短路徑長度。然後，每次新增一個頂點，同時對A的陣列進行篩選優化，期間會產

雙指標演算法基本原理和實踐

什麼是雙指標 雙指標，指的是在遍歷物件的過程中，不是普通的使用單個指標進行訪問，而是使用兩個相同方向（快慢指標）或者相反方向（對撞指標）的指標進行掃描，從而達到相應的目的。

[機器學習]協同過濾演算法的原理和基於Spark 例項

技術標籤：sparkspark機器學習協同過濾 目錄 協同過濾 協同過濾的型別 協同過濾的評價方法

雪花演算法的原理和 Java 實現

技術標籤：java雪花演算法的原理 SnowFlake 演算法，是 Twitter 開源的分散式ID生成演算法。其核心思想就是：使用一個 64 bit 的 long 型的數字作為全域性唯一ID。在分散式系統中的應用十分廣泛，且 ID 引入了時

分治演算法基本原理和實踐（三）

一、基本概念 在電腦科學中，分治法是一種很重要的演算法。字面上的解釋是“分而治之”，就是把一個複雜的問題分成兩個或更多的相同或相似的子問題，再把子問題分成更小的子問題……直到最後子問題可以簡單的直接求

TF-IDF演算法介紹

TF-IDF（term frequency–inverse document frequency，詞頻-逆向檔案頻率）是一種用於資訊檢索（information retrieval）與文字挖掘（text mining）的常用加權技術。

iOS 常用的加密演算法和網路安全問題的瞭解

iOS中的加密演算法 對稱加密演算法AES演算法 AES加密演算法涉及4種操作：位元組替代（SubBytes）、行移位（ShiftRows）、列混淆（MixColumns）和輪金鑰加（AddRoundKey）。下圖給出了AES加解密的流程，從圖中可以看出

GC演演算法和種類

GC的概念 Garbage Collection 垃圾收集，簡稱GC。Java中GC的物件是堆空間和永久區。

redis單執行緒快的原因和原理

Redis之所以執行速度很快，主要依賴於以下幾個原因： (一)純記憶體操作，避免大量訪問資料庫，減少直接讀取磁碟資料，redis 將資料儲存在記憶體裡面，讀寫資料的時候都不會受到硬碟 I/O 速度的限制，所以速度快；

mongodb增量備份指令碼的實現和原理詳解

前言 mongodb的副本集架構，主庫和從庫的資料相同步，如果主庫的機器壞掉，沒什麼關係，從庫上還有相同的副本資料。但如果某人惡意操作或誤操作，一下子批量刪除或drop整個庫，這樣主庫和從庫的資料都會沒有，造成巨

詳解oracle的分表之表分割槽的具體使用和示例

此文從以下幾個方面來整理關於分割槽表的概念及操作: 1.表空間及分割槽表的概念

深入理解Redis的持久化機制和原理

一、Redis持久化是如何工作的？ 什麼是持久化？簡單來講就是將資料放到斷電後資料不會丟失的裝置中，也就是我們通常理解的硬碟上。首先我們來看一下資料庫在進行寫操作時到底做了哪些事，主要有下面五個過程：

Java記憶體溢位案例模擬和原理分析過程

在JVM虛擬機器規範中，Java虛擬機器執行時資料區域除了程式計數器（Program Counter Register）外都有可能出現OutOfMemoryError的情況，使用Hotspot虛擬機器簡單的模擬堆疊記憶體溢位的場景，方便快速定位是什麼區域

opengl實現直線掃描演算法和區域填充演算法

本文例項為大家分享了opengl實現直線掃描演算法和區域填充演算法，供大家參考，具體內容如下

C#字串在記憶體中的具體數值和佔長

在學習資料在記憶體中的儲存方式時突然想到這個問題，在查閱了資料後有點大概的思路，但是網上還是有看到不同的答案，如這裡的回答：https://q.cnblogs.com/q/35325/