最近課題需要，整理一下文件相似性的一些研究，主要是參考知乎上面的回答和52nlp的相關文章。以備後期綜述使用。具體還需要好好細讀連結。

主要思路

1. 01/one hot representation，BOW+tf-idf+LSI/LDA體系.
2. docsim方法：gensim包，使用corpora.Dictionary(text)，把所有單詞取一個set(),並對set中每一個單詞分配一個id號的map，dictionary.doc2bow(doc),把文件doc變成一個稀疏向量，[(0,1),(2,3)]表明id為0，2的詞分別出現了1次和2次，其他未出現。Similarity相似度查詢。結果比較穩定。
3. word-embedding,使用NN思想，word2vec只能得到詞向量，比較詞之間的相似度，通過簡單的加權、tag加權、tf-idf加權等方式得到文件向量。
4. doc2vec，在word2vec模型中加入了段落向量，兩者對比，word2vec加權方式丟失了最重要的句子結構資訊，doc2vec保留了這種資訊。
5. 句法樹加權，使用LSH,sciket-learn提供了lsh的實現，比較適合短文字。lshf = LSHForest(random_state=42),lshf.fit(x_train.toarray())
   主要參考用docsim/doc2vec/LSH比較兩個文件之間的相似度和知乎Batman回答

一些知乎上的觀點

• 使用word2vec做，對於短句子有效。對於詞之間的相關資訊，無法表達。
• 用LSI/LSA做，基於SVD分解方式，句子中詞的順序不會影響相似度結果。句子結構資訊不敏感。
• 目前的模型對長句子絕大部分不能work，短句子中文語境下，通過適當的調參（對結果影響比較顯著的，我覺得有window size和min count），word2vec的結果還比較能看，doc2vec的結果一直都比較差，尤其是比較長一點兒的句子/文章。
• 在文件級別上，我覺得doc2vec的robust程度還不足以支撐一個產品，穩健性程度不如LSI，或者簡單的tf-idf。

一些比較好的網站

1. 52nlp系列
2. 語義分析的一些方法，分為上中下三篇，介紹文字基本處理：分詞、語言模型；文字語義分析:topic model ,詞向量、句向量、卷積神經網路、文字分類；圖片語義分析：圖片分類、訓練深度神經網路的tricks，非常棒的資料！

一些可參考論文

1. 《Destributed Representation of sentences and documents》講doc2vec
2. 《Parsing Natural scenes and natural recursive neural networks》句法樹
3. ICML2015的論文《From word embeddings to document distances》提出一種計算doc相似度的方式，大致思路是將詞之間的餘弦距離作為ground distance，詞頻作為權重，在權重的約束條件下，求WMD的線性規劃最優解。
4. 《Convolutional Neural Netowrk for Modelling Sentence》簡單的word2vec 相加除以詞個數，叫做mean-pooling，是不能反映詞序資訊的，可以預訓練向量，然後再上一個CNN卷積神經網路。
5. 《From Word Embeddings To Document Distances》：主要是將計算機影像領域的EMD(earth mover’s distance)演算法的思想，結合word2vec模型，移植到NLP領域，提出了一個文字距離的衡量概念：WMD(word mover’s distance)，通過word2vec模型，可以計算出所有詞語的n維詞向量（用於評價詞與詞之間的相似度），再用詞袋模型（Bag Of Words）得到詞語在文章中的詞頻（看作一個詞語在文章中的權重），那麼問題就轉化成為了如何在最小代價的情況下，將文章A的所有詞單元“搬運”到文章B對應詞單元中，因此變成了一個transportation optimization的問題。在短文字的處理上會比較好。-知乎 陳昊
6. 《Distributed Representations of Sentences and Documents》Mikolov 14年發表的。實用性一般。 參考意義不大，只要還停留在word2vec的框架內，就無法model到語法結構對句子相似度的影響。
7. 《How to generate a good word embedding》:語料大使用CBOW,語料小用skip-gram，影響相似度的因素：模型、語料、引數。評價指標：語義特徵、用作特徵、用作初始值。導讀