文字相似度bm25演算法的原理以及Python實現(jupyter notebook)

今天我們一起來學習一下自然語言處理中的bm25演算法，bm25演算法是常見的用來計算query和文章相關度的相似度的。其實這個演算法的原理很簡單，就是將需要計算的query分詞成w1，w2，…，wn，然後求出每一個詞和文章的相關度，最後將這些相關度進行累加，最終就可以的得到文字相似度計算結果。
首先我們來看一下bm25演算法的計算公式：

S c o r e (Q, d) = \sum_{i}^{n} W_{i} \cdot R (q_{i}, d)

$Score(Q,d) = \sum\limits_i^n {{W_i} \cdot R({q_i},d)}$

我們來看看這個公式，首先Wi表示第i個詞的權重，這裡我們一般會使用TF-IDF演算法來計算詞語的權重，我在之前的博文對TF-IDF的理解與數學推導中，對TF-IDF演算法有詳細地分析與介紹，大家可以閱讀參考。這個公式第二項R(qi,d)表示我們查詢query中的每一個詞和文章d的相關度，這一項就涉及到複雜的運算，我們慢慢來看。一般來說Wi的計算我們一般用逆項文字頻率IDF的計算公式：

I D F (q_{i}) = \log \frac{N + 0.5}{n (q_{i}) + 0.5}

$IDF({q_i}) = \log \frac{{N + 0.5}}{{n({q_i}) + 0.5}}$

在這個公式中，N表示文件的總數，n(qi)表示包含這個詞的文章數，為了避免對數裡面分母項等於0，我們給分子分母同時加上0.5，這個0.5被稱作調教係數，所以當n(qi)越小的時候IDF值就越大，表示詞的權重就越大。我們來舉個栗子：“bm25”這個詞只在很少一部分的文章中出現，n(qi)就會很小，那麼“bm25”的IDF值就很大；“我們”，“是”，“的”這樣的詞，基本上在每一篇文章中都會出現，那麼n(qi)就很接近N，所以IDF值就很接近於0，接著我們來看公式中的第二項R(qi,d)，我們首先來看看第二項的計算公式：

R (q_{i}, d) = \frac{f_{i} (k_{1} + 1)}{f_{i} + K} \cdot \frac{q f_{i} (k_{2} + 1)}{q f_{i} + k_{2}}

$R({q_i},d) = \frac{{{f_i}({k_1} + 1)}}{{{f_i} + K}} \cdot \frac{{q{f_i}({k_2} + 1)}}{{q{f_i} + {k_2}}}$
在這個公式中，一般來說，k1、k2和b都是調節因子，k1=1、k2=1、b = 0.75,qfi表示qi在查詢query中出現的頻率，fi表示qi在文件d中出現的頻率，因為在一般的情況下，qi在查詢query中只會出現一次，因此把qfi=1和k2=1代入上述公式中，後面一項就等於1，最終可以得到：

R (q_{i}, d) = \frac{f_{i} (k_{1} + 1)}{f_{i} + K}

$R({q_i},d) = \frac{{{f_i}({k_1} + 1)}}{{{f_i} + K}}$

我們再來看看K，在這裡其實K的值也是一個公式的縮寫，我們把K展開來看：

K = k_{1} \cdot (1 - b + b \cdot \frac{d l}{a v g (d l)})

$K{\text{ = }}{{\text{k}}_1} \cdot (1 - b + b \cdot \frac{{dl}}{{avg(dl)}})$

在K的展開式中dl表示文件的長度，avg(dl)表示文件的平均長度，b是前面提到的調節因子，從公式中可以看出在文章長度比平均文章長度固定的情況下，調節因子b越大，文章長度佔有的影響權重就越大，反之則越小。在調節因子b固定的時候，當文章的長度比文章的平均長度越大，則K越大，R(qi,d)就越小。我們把K的展開式帶入到bm25計算公式中去：

\begin{aligned} S c o r e (Q, d) = \sum_{i}^{n} W_{i} \cdot R (q_{i}, d) = \sum_{i}^{n} W_{i} \cdot \frac{f_{i} (k_{1} + 1)}{f_{i} + K} \\ = \sum_{i}^{n} I D F (q_{i}) \cdot \frac{f_{i} (k_{i} + 1)}{f_{i} + k_{1} \cdot (1 - b + b \frac{d l}{a v g (d l)})} \\ = \sum_{i}^{n} (\log \frac{N + 0.5}{n (q_{i}) + 0.5}) \cdot \frac{f_{i} (k_{i} + 1)}{f_{i} + k_{1} \cdot (1 - b + b \frac{d l}{a v g (d l)})} \end{aligned}

文字相似度bm25演算法的原理以及Python實現(jupyter notebook)

文字相似度bm25演算法的原理以及Python實現(jupyter notebook)

文字相似度-bm25演算法原理及實現

（二）k-means演算法原理以及python實現

PCA演算法的數學原理以及Python實現

SVM演算法原理及Python實現

決策樹（ID3 C4,5 減枝 CART演算法）以及Python實現

相似圖片搜尋的原理，python實現的方法解密！

RC4原理以及python實現

決策樹演算法原理與 Python實現

資料探勘十大演算法（五）：EM(Expectation Maximum)演算法原理與Python實現

決策樹之CART演算法原理及python實現

logistic迴歸演算法原理及python實現

機器學習中優化演算法總結以及Python實現

深入學習主成分分析（PCA）演算法原理及其Python實現

PCA原理以及python實現（另外說說SVD奇異值分解）

Solr進階之Solr綜合文字相似度的多因素權重排序實現

人工神經網路——反向傳播演算法(BP)以及Python實現

bandit演算法原理及Python實現

Crypto知識相關——RSA演算法原理與python實現

資料結構-排序演算法原理和Python實現

文字相似度bm25演算法的原理以及Python實現(jupyter notebook)

相關推薦