最近在做一些NLP的研究，由於也是第一次做這個東西，其實還是發現很多有意思的東西。

相信很多做過NLP的人都應該接觸過提取關鍵詞的這個功能。現在有很多可以使用的第三方工具包可以很容易的來實現這個功能，比如snowNLP，jieba等，但是我們還是要做到知其然，知其所以然，所以便有了這一篇文字的記錄。

首先我們來了解一下什麼是TF-IDF？

其實這個是兩個詞的組合，可以拆分為TF和IDF。

TF（Term Frequency，縮寫為TF）也就是詞頻啦，即一個詞在文中出現的次數，統計出來就是詞頻TF，顯而易見，一個詞在文章中出現很多次，那麼這個詞肯定有著很大的作用，但是我們自己實踐的話，肯定會看到你統計出來的TF 大都是一些這樣的詞：‘的’，‘是’這樣的詞，這樣的詞顯然對我們的分析和統計沒有什麼幫助，反而有的時候會干擾我們的統計，當然我們需要把這些沒有用的詞給去掉，現在有很多可以去除這些詞的方法，比如使用一些停用詞的語料庫等。

假設我們把它們都過濾掉了，只考慮剩下的有實際意義的詞。這樣又會遇到了另一個問題，我們可能發現"中國"、"蜜蜂"、"養殖"這三個詞的出現次數一樣多。這是不是意味著，作為關鍵詞，它們的重要性是一樣的？

顯然不是這樣。因為"中國"是很常見的詞，相對而言，"蜜蜂"和"養殖"不那麼常見。如果這三個詞在一篇文章的出現次數一樣多，有理由認為，"蜜蜂"和"養殖"的重要程度要大於"中國"，也就是說，在關鍵詞排序上面，"蜜蜂"和"養殖"應該排在"中國"的前面。

所以，我們需要一個重要性調整係數，衡量一個詞是不是常見詞。如果某個詞比較少見，但是它在這篇文章中多次出現，那麼它很可能就反映了這篇文章的特性，正是我們所需要的關鍵詞。

用統計學語言表達，就是在詞頻的基礎上，要對每個詞分配一個"重要性"權重。最常見的詞（"的"、"是"、"在"）給予最小的權重，較常見的詞（"中國"）給予較小的權重，較少見的詞（"蜜蜂"、"養殖"）給予較大的權重。這個權重叫做"逆文件頻率"（Inverse Document Frequency，縮寫為IDF），它的大小與一個詞的常見程度成反比。

知道了"詞頻"（TF）和"逆文件頻率"（IDF）以後，將這兩個值相乘，就得到了一個詞的TF-IDF值。某個詞對文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的幾個詞，就是這篇文章的關鍵詞。

給出具體的公式：

1.計算詞頻TF

考慮到文章有長短之分，為了便於不同文章的比較，進行"詞頻"標準化。

或者

2.計算逆文件頻率IDF

需要一個語料庫（corpus），用來模擬語言的使用環境。

如果一個詞越常見，那麼分母就越大，逆文件頻率就越小越接近0。分母之所以要加1，是為了避免分母為0（即所有文件都不包含該詞）。log表示對得到的值取對數。

3.計算TF-IDF

可以看到，TF-IDF與一個詞在文件中的出現次數成正比，與該詞在整個語言中的出現次數成反比。所以，自動提取關鍵詞的演算法就很清楚了，就是計算出文件的每個詞的TF-IDF值，然後按降序排列，取排在最前面的幾個詞。

給個例子：例子來自

還是以《中國的蜜蜂養殖》為例，假定該文長度為1000個詞，"中國"、"蜜蜂"、"養殖"各出現20次，則這三個詞的"詞頻"（TF）都為0.02。然後，搜尋Google發現，包含"的"字的網頁共有250億張，假定這就是中文網頁總數。包含"中國"的網頁共有62.3億張，包含"蜜蜂"的網頁為0.484億張，包含"養殖"的網頁為0.973億張。則它們的逆文件頻率（IDF）和TF-IDF如下：

從上表可見，"蜜蜂"的TF-IDF值最高，"養殖"其次，"中國"最低。（如果還計算"的"字的TF-IDF，那將是一個極其接近0的值。）所以，如果只選擇一個詞，"蜜蜂"就是這篇文章的關鍵詞。

除了自動提取關鍵詞，TF-IDF演算法還可以用於許多別的地方。比如，資訊檢索時，對於每個文件，都可以分別計算一組搜尋詞（"中國"、"蜜蜂"、"養殖"）的TF-IDF，將它們相加，就可以得到整個文件的TF-IDF。這個值最高的文件就是與搜尋詞最相關的文件。

TF-IDF演算法的優點是簡單快速，結果比較符合實際情況。缺點是，單純以"詞頻"衡量一個詞的重要性，不夠全面，有時重要的詞可能出現次數並不多。而且，這種演算法無法體現詞的位置資訊，出現位置靠前的詞與出現位置靠後的詞，都被視為重要性相同，這是不正確的。（一種解決方法是，對全文的第一段和每一段的第一句話，給予較大的權重。）