1. 程式人生 > 其它 >ES模糊查詢wildcard的替代方案,nGram + match_phrase

ES模糊查詢wildcard的替代方案,nGram + match_phrase

背景

1.ES模糊查詢wildcard查詢極耗機器CPU資源,查詢耗時高,當併發量高時影響ES其它程序。
2.使用者實際的模糊查詢需求大多是左右模糊匹配。

可行性分析

match_phrase能夠實現片語查詢。

比如brown fox會返回匹配…brown fox…的結果,此結果與wildcard查詢傳入brown fox的查詢結果一致。相當於我們通過match_phrase實現wildcard查詢效果,但此時只滿足一些特許的模糊查詢需求。
那如何對match_phrase的功能進行增強,讓其能夠滿足所有條件?
從上面的查詢示例可以看出,brown fox會返回匹配…brown fox…的結果,其根本原因在於索引時ES將…brown fox…分詞成了brown,fox等單詞。所以只要我們能夠控制ES分詞效果,將會最終滿足我們的需求。而ES提供了豐富的分詞功能。

nGram分詞能夠實現按指定長度對文字進行分詞。

nGram可以指定min_gram,max_gram引數實現不同的分詞效果。
例如:min_gram,max_gram配置為5時,quick.brown.fox分詞後會產生quick,uick.,ick.b,ck.br,k.bro,.brow,brown,rown.,own.f,wn.fo,n.fox。
這時match_phrase會達到什麼效果了?
a.使用者輸入quick,brown,k.bro等都能夠返回quick.brown.fox。
b.使用者輸入brown.fox,brown.fox會被分詞成brown,rown.,own.f等,此時同樣會返回quick.brown.fox。
c.使用者輸入fox(長度小於nGram分詞配置的分詞長度時),不會返回任何結果。

如何正確返回查詢條件長度小於5時的結果

利用nGram分詞 + term查詢可以實現所需查詢效果。
nGram分詞配置:min_gram配置為1,max_gram配置為4。例如quick將會被分詞為q,u,i,… quic,uick。
term查詢會對使用者輸入的條件進行精確匹配,比如輸入uic,會返回quick。

方案

查詢條件長度小於5時:使用nGram分詞 + term查詢
查詢條件長度大於等於5時:使用nGram分詞 + match_phrase查詢

實施

建立索引
PUT index_text_1
{
  "settings": {
    "analysis": {
      "analyzer": {
        
"ngram_analyzer_short": { "filter": "lowercase", "tokenizer": "ngram_tokenizer_short" }, "ngram_analyzer_long": { "filter": "lowercase", "tokenizer": "ngram_tokenizer_long" } }, "tokenizer": { "ngram_tokenizer_short": { "type": "nGram", "min_gram": "1", "max_gram": "4" }, "ngram_tokenizer_long": { "type": "nGram", "min_gram": "5", "max_gram": "5" } } } }, "mappings": { "title": { "properties": { "char": { "type": "keyword", "fields": { "long_char": { "type": "text", "analyzer": "ngram_analyzer_long" }, "short_char": { "type": "text", "analyzer": "ngram_analyzer_short" } } } } } } }
新增資料
POST /index_text_1/_doc/_bulk
{"index":{"_id":1}}  
{"char":"nHRSPkkXLGm6UsmRbRBFQYRCRXpp6CXrnBiqSR"} 
{"index":{"_id":2}}
{"char":"quick.brown.fox"}
{"index":{"_id":3}}
{"char":"elasticsearch"}
查詢語句

查詢條件長度大於等於5時

GET index_text_1/_search
{
    "query": {
        "match_phrase": {
            "char.long_char": {
                "query": "UsmRbRBFQY"
            }
        }
    }
}

 

 查詢條件長度小於5時

GET index_text_1/_search
{
    "query": {
        "term": {
            "char.short_char": {
                "value": "fox"
            }
        }
    }
}

 

 

參考網址:

https://blog.csdn.net/weixin_43828710/article/details/122684156

https://cloud.tencent.com/developer/article/1061587?from=article.detail.1782572

https://cloud.tencent.com/developer/article/1782572