在對文字分析中 抽取特徵有很多方法，TF-IDF方法抽取文字特徵詞效果還是很不錯的，TF-IDF方法可以表徵一個詞的辨識度，比較官方的解釋是：TF-IDF是一種統計方法，用以評估一字詞對於一個檔案集或一個語料庫中的其中一份檔案的重要程度。字詞的重要性隨著它在檔案中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。TF-IDF加權的各種形式常被搜尋引擎應用，作為檔案與使用者查詢之間相關程度的度量或評級。除了TF-IDF以外，因特網上的搜尋引擎還會使用基於連結分析的評級方法，以確定檔案在搜尋結果中出現的順序。

那麼在實際工程應用中我們該如何提取文件的TF-IDF值呢，scikit-learn已經提供了一套非常完善的方法了，怎麼用就直接上程式碼了，在處理過程中經常會遇到一些字串編碼的問題，解決方法可以參考

#-*-coding:utf8-*-
from sklearn.feature_extraction.text import TfidfVectorizer
from keras.preprocessing import text
from collections import OrderedDict
import os

max_word_length = 30
min_word_length = 3


class TFIDFExtractor:
    def __init__(self, sample_folder, topn):
        self._sample_folder = sample_folder
        self._topn = topn # select the topn keywords by tfidf value
        self._to_vectorize_word = []   # the word is filtered by simple rule (max_word_length > length > min_word_length)
        self._words = []
        self._wordweight = [[]]
        self._topn_word = {}


    def extract_word_vector(self):
        for root, dirs, samples in os.walk(self._sample_folder):
            for sample in samples:
                with open(os.path.join(root, sample), 'r+') as fd:
                    words = text.text_to_word_sequence(fd.read(),
                                               filters='!"#$%&()*+,-./:;<=>
 
[email protected][\\]^_`{|}~\t\n',
                                               lower=True,
                                               split=" ")
                    line = ''
                    for word in words:
                        if min_word_length < len(word) < max_word_length:
                            line += word + ' '
                    line.rstrip(' ')
                    self._to_vectorize_word.append(line)

    def compute_tfidf(self):
        print 'compute tfidf'
    try:
        vectorizer = TfidfVectorizer()
            self._wordweight =  vectorizer.fit_transform(self._to_vectorize_word).toarray()
            self._words = vectorizer.get_feature_names()
    except UnicodeDecodeError:
        print 'get exception'

    def extracto_topn_keyword(self):
        print 'extract topn words'
        rows = len(self._wordweight)
        columns = len(self._wordweight[0])
        new_arr = [[r[col] for r in self._wordweight] for col in xrange(columns)]
        for i in range(len(self._words)):
            self._topn_word[self._words[i]] = max(new_arr[i])

    def get_topn_keyword(self):
        return self._topn_word.keys()

    def dump_topn_word_tofile(self):
        ordered_dict = OrderedDict(sorted(self._topn_word.items(), key=lambda x: x[1], reverse=True))
        with open(os.path.join(os.getcwd(), 'TFIDF_Sorted.txt'), 'w+') as fd:
        for key, value in ordered_dict.items():
            try:
                 fd.write((key +':' + str(value)))
                    fd.write(',\n')
            except UnicodeEncodeError:
                 print 'encode error'

    def auto(self):
        self.extract_word_vector()
        self.compute_tfidf()
        self.extracto_topn_keyword()
        self.dump_topn_word_tofile()