ES模糊查詢wildcard的替代方案,nGram + match_phrase
背景
1.ES模糊查詢wildcard查詢極耗機器CPU資源,查詢耗時高,當併發量高時影響ES其它程序。
2.使用者實際的模糊查詢需求大多是左右模糊匹配。
可行性分析
match_phrase能夠實現片語查詢。
比如brown fox會返回匹配…brown fox…的結果,此結果與wildcard查詢傳入brown fox的查詢結果一致。相當於我們通過match_phrase實現wildcard查詢效果,但此時只滿足一些特許的模糊查詢需求。
那如何對match_phrase的功能進行增強,讓其能夠滿足所有條件?
從上面的查詢示例可以看出,brown fox會返回匹配…brown fox…的結果,其根本原因在於索引時ES將…brown fox…分詞成了brown,fox等單詞。所以只要我們能夠控制ES分詞效果,將會最終滿足我們的需求。而ES提供了豐富的分詞功能。
nGram分詞能夠實現按指定長度對文字進行分詞。
nGram可以指定min_gram,max_gram引數實現不同的分詞效果。
例如:min_gram,max_gram配置為5時,quick.brown.fox分詞後會產生quick,uick.,ick.b,ck.br,k.bro,.brow,brown,rown.,own.f,wn.fo,n.fox。
這時match_phrase會達到什麼效果了?
a.使用者輸入quick,brown,k.bro等都能夠返回quick.brown.fox。
b.使用者輸入brown.fox,brown.fox會被分詞成brown,rown.,own.f等,此時同樣會返回quick.brown.fox。
c.使用者輸入fox(長度小於nGram分詞配置的分詞長度時),不會返回任何結果。
如何正確返回查詢條件長度小於5時的結果
利用nGram分詞 + term查詢可以實現所需查詢效果。
nGram分詞配置:min_gram配置為1,max_gram配置為4。例如quick將會被分詞為q,u,i,… quic,uick。
term查詢會對使用者輸入的條件進行精確匹配,比如輸入uic,會返回quick。
方案
查詢條件長度小於5時:使用nGram分詞 + term查詢
查詢條件長度大於等於5時:使用nGram分詞 + match_phrase查詢
實施
建立索引
PUT index_text_1 { "settings": { "analysis": { "analyzer": {"ngram_analyzer_short": { "filter": "lowercase", "tokenizer": "ngram_tokenizer_short" }, "ngram_analyzer_long": { "filter": "lowercase", "tokenizer": "ngram_tokenizer_long" } }, "tokenizer": { "ngram_tokenizer_short": { "type": "nGram", "min_gram": "1", "max_gram": "4" }, "ngram_tokenizer_long": { "type": "nGram", "min_gram": "5", "max_gram": "5" } } } }, "mappings": { "title": { "properties": { "char": { "type": "keyword", "fields": { "long_char": { "type": "text", "analyzer": "ngram_analyzer_long" }, "short_char": { "type": "text", "analyzer": "ngram_analyzer_short" } } } } } } }
新增資料
POST /index_text_1/_doc/_bulk {"index":{"_id":1}} {"char":"nHRSPkkXLGm6UsmRbRBFQYRCRXpp6CXrnBiqSR"} {"index":{"_id":2}} {"char":"quick.brown.fox"} {"index":{"_id":3}} {"char":"elasticsearch"}
查詢語句
查詢條件長度大於等於5時
GET index_text_1/_search { "query": { "match_phrase": { "char.long_char": { "query": "UsmRbRBFQY" } } } }
查詢條件長度小於5時
GET index_text_1/_search { "query": { "term": { "char.short_char": { "value": "fox" } } } }
參考網址:
https://blog.csdn.net/weixin_43828710/article/details/122684156
https://cloud.tencent.com/developer/article/1061587?from=article.detail.1782572
https://cloud.tencent.com/developer/article/1782572