1、TF-IDF演算法介紹

       TF-IDF（term frequency–inverse document frequency，詞頻-逆向檔案頻率）是一種用於資訊檢索（information retrieval）與文字挖掘（text mining）的常用加權技術。

       TF-IDF是一種統計方法，用以評估一字詞對於一個檔案集或一個語料庫中的其中一份檔案的重要程度。字詞的重要性隨著它在檔案中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。

       TF-IDF的主要思想是：如果某個單詞在一篇文章中出現的頻率TF高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。

（1）TF是詞頻(Term Frequency)

        詞頻（TF）表示詞條（關鍵字）在文字中出現的頻率。

        這個數字通常會被歸一化(一般是詞頻除以文章總詞數), 以防止它偏向長的檔案。

        公式：           即：

        其中 ni,j 是該詞在檔案 dj 中出現的次數，分母則是檔案 dj 中所有詞彙出現的次數總和；

（2） IDF是逆向檔案頻率(Inverse Document Frequency)

        逆向檔案頻率 (IDF) ：某一特定詞語的IDF，可以由總檔案數目除以包含該詞語的檔案的數目，再將得到的商取對數得到

如果包含詞條t的文件越少, IDF越大，則說明詞條具有很好的類別區分能力。

        公式：         

        其中，|D| 是語料庫中的檔案總數。 |{j:ti∈dj}| 表示包含詞語 ti 的檔案數目（即 ni,j≠0 的檔案數目）。如果該詞語不在語料庫中，就會導致分母為零，因此一般情況下使用 1+|{j:ti∈dj}|

        即：

（3）TF-IDF實際上是：TF * IDF

       某一特定檔案內的高詞語頻率，以及該詞語在整個檔案集合中的低檔案頻率，可以產生出高權重的TF-IDF。因此，TF-IDF傾向於過濾掉常見的詞語，保留重要的詞語。

       公式：

       注：  TF-IDF演算法非常容易理解，並且很容易實現，但是其簡單結構並沒有考慮詞語的語義資訊，無法處理一詞多義與一義多詞的情況。

2、TF-IDF應用

     （1）搜尋引擎；（2）關鍵詞提取；（3）文字相似性；（4）文字摘要

3、Python3實現TF-IDF演算法

# -*- coding: utf-8 -*-
from collections import defaultdict
import math
import operator

"""
函式說明:建立資料樣本
Returns:
    dataset - 實驗樣本切分的詞條
    classVec - 類別標籤向量
"""
def loadDataSet():
    dataset = [ ['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],    # 切分的詞條
                   ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                   ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                   ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                   ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                   ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid'] ]
    classVec = [0, 1, 0, 1, 0, 1]  # 類別標籤向量，1代表好，0代表不好
    return dataset, classVec


"""
函式說明：特徵選擇TF-IDF演算法
Parameters:
     list_words:詞列表
Returns:
     dict_feature_select:特徵選擇詞字典
"""
def feature_select(list_words):
    #總詞頻統計
    doc_frequency=defaultdict(int)
    for word_list in list_words:
        for i in word_list:
            doc_frequency[i]+=1

    #計算每個詞的TF值
    word_tf={}  #儲存沒個詞的tf值
    for i in doc_frequency:
        word_tf[i]=doc_frequency[i]/sum(doc_frequency.values())

    #計算每個詞的IDF值
    doc_num=len(list_words)
    word_idf={} #儲存每個詞的idf值
    word_doc=defaultdict(int) #儲存包含該詞的文件數
    for i in doc_frequency:
        for j in list_words:
            if i in j:
                word_doc[i]+=1
    for i in doc_frequency:
        word_idf[i]=math.log(doc_num/(word_doc[i]+1))

    #計算每個詞的TF*IDF的值
    word_tf_idf={}
    for i in doc_frequency:
        word_tf_idf[i]=word_tf[i]*word_idf[i]

    # 對字典按值由大到小排序
    dict_feature_select=sorted(word_tf_idf.items(),key=operator.itemgetter(1),reverse=True)
    return dict_feature_select

if __name__=='__main__':
    data_list,label_list=loadDataSet() #載入資料
    features=feature_select(data_list) #所有詞的TF-IDF值
    print(features)
    print(len(features))

執行結果：