網上看到一篇文章總結了幾個關鍵詞抽取的演算法（如何做好文字關鍵詞提取？從達觀資料應用的三種演算法說起），想到這是一個很重要的課題還是有必要小結一下的，有不足之處大家可以討論討論

還有幾個比較好的連結供大家參考

大體上關鍵詞抽取演算法分三種：有監督（二分類問題，需提供大量標註好的訓練資料），半監督（提供少量的有標註的訓練資料作為種子資料構建模型），無監督（一些方法自動發現關鍵詞）

有監督的方法需要大量的標註資料，這一點比較耗費人工，所以還是能無監督就無監督

對英語來說可以直接考慮以詞語為單位，但是漢語處理還需要先經過分詞處理，分詞的準確率影響後來的演算法準確率，分詞的package包括jieba（github上有很多），NLTK，standford的分詞器，清華大學，哈爾濱工業大學，中科院計算所都有各自的分詞工具等等，不一而足，當然也可以自己嘗試使用HMM，CRF等模型自己寫一個分詞工具

基於統計的關鍵詞抽取

利用文件中的詞語統計資訊抽取，比如基於詞性，詞頻，逆文字頻率等，還可以依據詞在文件中出現的位置提取

詞性：現在的關鍵詞絕大多數為名詞或動名詞，因為這些結構有比較大的，不容易產生歧義的資訊量，可與其他指標結合

詞頻：一般來說一個詞在文件中出現的次數越多越重要，但是由於一些常用的沒有意義的詞也會出現多次，所以我們需要一個停用詞（stop word）表在統計詞頻時先過濾掉停用詞

詞位置：不同的詞在不同位置有不同的重要性，對維基百科來說，第一段是總結性內容所以其中的詞比較能概括全文，靠後的詞會細化某一方面的情況，不太反應整體的情況

TF-IDF：TF-IDF是一個在自然語言處理和資訊檢索領域常用的一個指標，用來數值化，連續化一個詞在一個文件集中的統計特徵，為避免分母出現零的情況往往需要做平滑處理

互資訊：資訊理論中的一個概念，表示變數間相互依賴的度量，I(X;Y)

詞跨度：詞首次出現與最後一次出現的距離

基於複雜網路的關鍵詞抽取

首先要建立文件的語言網路圖，然後對圖進行分析找到重要的短語或詞

有了圖模型後就可以使用graph的各種-ness特徵對詞語的重要性進行排序選擇

基於圖模型的關鍵詞抽取

PageRank和TextRank：TextRank基於PageRank的思想提出，PageRank認為如果一個網頁被連結的次數越多那麼這個網頁越重要，如果這個網頁被一個很重要的網頁連結了當然這個網頁權值更大，最後經過一系列的證明可以得出多次迭代過後的PR值是一定收斂的，也就是說我們對一個網頁有且只有一個PR值，唯一性由PR值計算過程的Markov性保證；TextRank則是取文件中的一個視窗，如果共現則視為有效

基於Topic Model的關鍵詞抽取

LDA主題模型：LDA是用來抽取文件中的主題分佈，需要對文件進行LSA（latent semantic analysis），在文章中不論是主題的分佈還是單詞的分佈都滿足Drichlet Distribution，對每篇文章假設有多個主題而不是一個，LDA的運算中剛快速使用了EM演算法，後來使用效果更好的Gibbs Sampling；候選的關鍵詞與抽取的主題計算相似度並進行排序，得到最終的關鍵詞

最後，當然在實際應用中只考慮一種方法是不夠的，借鑑整合學習（ensemble learning）的思想，我們可以同時使用多個關鍵詞抽取演算法的結果然後進行整合，再選取最合適的關鍵詞