2. 程式人生 > >ElasticSearch打分機制學習

ElasticSearch打分機制學習

阿新 • • 發佈：2019-02-12

建立一個索引

curl -s -XPUT 'http://localhost:9200/gino_test/' -d '{
  "mappings": {
    "tweet": {
      "properties": {
        "text": {
          "type": "string",
          "term_vector": "with_positions_offsets_payloads",
          "store" : true,
          "analyzer" : "fulltext_analyzer"
         },
         "fullname": {
          "type": "string",
          "term_vector": "with_positions_offsets_payloads",
          "analyzer" : "fulltext_analyzer"
        }
      }
    }
  },
  "settings" : {
    "index" : {
      "number_of_shards" : 1,
      "number_of_replicas" : 0
    },
    "analysis": {
      "analyzer": {
        "fulltext_analyzer": {
          "type": "custom",
          "tokenizer": "whitespace",
          "filter": [
            "lowercase",
            "type_as_payload"
          ]
        }
      }
    }
  }
}'

插入測試資料：

_index _type _id text fullname
gino_test tweet 1 hello world gino zhang
gino_test tweet 2 gino like world cup gino li
gino_test tweet 3 my cup jsper li

簡單情況：單欄位匹配打分

POST http://192.168.102.216:9200/gino_test/_search
{
  "explain": true,
  "query": {
    "match": {
      "text": "my cup"
    }
  }
}

查詢結果： score_example1.json https://drivenotepad.github.io/app/?state={%22action%22:%22open%22,%22ids%22:[%220B4dv03yigoV2VjFIbEI3ZFQwRlk%22]}

score(q,d)  =  queryNorm(q)  · coord(q,d)  · ∑ (tf(t,d) · idf(t)² · t.getBoost() · norm(t,d))
  • score(q,d) is the relevance score of document d for query q.
  • queryNorm(q) is the query normalization factor (new).
  • coord(q,d) is the coordination factor (new).
  • The sum of the weights for each term t in the query q for document d.
  • tf(t,d) is the term frequency for term t in document d.
  • idf(t) is the inverse document frequency for term t.
  • t.getBoost() is the boost that has been applied to the query (new).
  • norm(t,d) is the field-length norm, combined with the index-time field-level boost, if any. (new).
    You should recognize score, tf, and idf. The queryNorm, coord, t.getBoost, and norm are new.

注意：在計算過程中，涉及的變數應該考慮的是document所在的分片而不是整個index。

score(q,d) = _score(q,d.f)                                               --------- ①
= queryNorm(q) · coord(q,d) · ∑ (tf(t,d) · idf(t)² · t.getBoost() · norm(t,d))
= coord(q,d) · ∑ (tf(t,d) · idf(t)² · t.getBoost() · norm(t,d) · queryNorm(q))
= coord(q,d.f) · ∑ _score(q.ti, d.f) [ti in q]                           --------- ②
= coord(q,d.f) · (_score(q.t1, d.f) + _score(q.t2, d.f))
  • ① 相關性打分其實是查詢與某個文件的某個欄位之間的相關性打分，而不是與文件的相關性；
  • ② 根據公式轉換，就變成了查詢的所有Term與文件中欄位的相關性求和，如果某個Term不相關，則需要處理coord係數；

multi-match多欄位匹配打分（best_fields模式）

POST http://192.168.102.216:9200/gino_test/_search
{
  "explain": true,
  "query": {
    "multi_match": {
      "query": "gino cup",
      "fields": [
        "text^8",
        "fullname^5"
      ]
    }
  }
}

查詢結果：score_example2.json
https://drivenotepad.github.io/app/?state={%22action%22:%22open%22,%22ids%22:[%220B4dv03yigoV2MTdsWHFqRGRsZUU%22]}

打分分析：

score(q,d) = max(_score(q, d.fi)) = max(_score(q, d.f1), _score(q, d.f2))
= max(coord(q,d.f1) · (_score(q.t1, d.f1) + _score(q.t2, d.f1)), coord(q,d.f2) · (_score(q.t1, d.f2) + _score(q.t2, d.f2)))
  • 對於multi-field的best_fields模式來說，相當於是對每個欄位對查詢分別進行打分，然後執行max運算獲取打分最高的。
  • 在計算query weight的過程需要乘上欄位的權重，在計算fieldNorm的時候也需要乘上欄位的權重。
  • 預設operator為or，如果使用and，打分機制也是一樣的，但是搜尋結果會不一樣。

multi-match多欄位匹配打分（cross_fields模式）

POST http://192.168.102.216:9200/gino_test/_search
{
  "explain": true,
  "query": {
    "multi_match": {
      "query": "gino cup",
      "type": "cross_fields",
      "fields": [
        "text^8",
        "fullname^5"
      ]
    }
  }
}

查詢結果：score_example3.json
https://drivenotepad.github.io/app/?state={%22action%22:%22open%22,%22ids%22:[%220B4dv03yigoV2OU40bWp1ZnlsT00%22]}

打分分析：

score(q, d) = ∑ (_score(q.ti, d.f)) = ∑ (_score(q.t1, d.f), _score(q.t1, d.f))
= ∑ (max(coord(q.t1,d.f) · _score(q.t1, d.f1), coord(q.t1,d.f) · _score(q.t1, d.f2)), max(coord(q.t2,d.f) · _score(q.t2, d.f1), coord(q.t2,d.f) · _score(q.t2, d.f2)))
  • coord(q.t1,d.f)函式表示搜尋的Term(如gino)在multi-field中有多少比率的欄位匹配到；best_fields模式中coord(q,d.f1)表示搜尋的所以Term(如gino和cup)有多少比率存在與特定的field欄位（如text欄位）裡；
  • 對於multi-field的cross_fields模式來說，相當於是對每個查詢的Term進行打分（每個Term執行best_fields打分，即看下哪個field匹配更高），然後執行sum運算。
  • 預設operator為or，如果使用and，打分機制也是一樣的，但是搜尋結果會不一樣。score_example4.json
    https://drivenotepad.github.io/app/?state={%22action%22:%22open%22,%22ids%22:[%220B4dv03yigoV2SDFGSEFJNWVBZU0%22]}

should增加權重打分

為了增加filter的測試，給gino_test/tweet增加一個tags的欄位。

PUT /gino_test/_mapping/tweet
{
  "properties": {
    "tags": {
      "type": "string",
      "analyzer": "fulltext_analyzer"
    }
  }
}

增加tags的標籤

_index _type _id text fullname tags
gino_test tweet 1 hello world gino zhang new, gino
gino_test tweet 2 gino like world cup gino li hobby, gino
gino_test tweet 3 my cup jsper li goods, jasper

POST http://192.168.102.216:9200/gino_test/_search
{
“explain”: true,
“query”: {
“bool”: {
“must”: {
“bool”: {
“must”: {
“multi_match”: {
“query”: “gino cup”,
“fields”: [
“text^8”,
“fullname^5”
],
“type”: “best_fields”,
“operator”: “or”
}
},
“should”: [
{
“term”: {
“tags”: {
“value”: “goods”,
“boost”: 6
}
}
},
{
“term”: {
“tags”: {
“value”: “hobby”,
“boost”: 3
}
}
}
]
}
}
}
}
}

查詢結果：score_example5.json https://drivenotepad.github.io/app/?state={%22action%22:%22open%22,%22ids%22:[%220B4dv03yigoV2TFZQREgzdHh2NmM%22]}

  • 增加了should的權重之後，相當於多了一個打分參考項，打分的過程見上面的計算過程。

function_score高階打分機制

DSL格式：

{
    "function_score": {
        "query": {},
        "boost": "boost for the whole query",
        "functions": [
            {
                "filter": {},
                "FUNCTION": {}, 
                "weight": number
            },
            {
                "FUNCTION": {} 
            },
            {
                "filter": {},
                "weight": number
            }
        ],
        "max_boost": number,
        "score_mode": "(multiply|max|...)",
        "boost_mode": "(multiply|replace|...)",
        "min_score" : number
    }
}

支援四種類型發FUNCTION:
- script_score: 自定義的高階打分機制，涉及的欄位只能是數值型別的
- weight: 權重打分，一般結合filter一起使用，表示滿足某種條件加多少倍的分
- random_score： 生成一個隨機分數，比如應該uid隨機打亂排序
- field_value_factor： 根據index裡的某個欄位值影響打分，比如銷量（涉及的欄位只能是數值型別的）
- decay functions: 衰減函式打分，比如越靠近市中心的打分越高

來做一個實驗。先給index增加一個檢視數的欄位：

PUT /gino_test/_mapping/tweet
{
  "properties": {
    "views": {
      "type": "long",
      "doc_values": true,
      "fielddata": {
        "format": "doc_values"
    }
  }
}

給三條資料分別加上檢視數的值：

POST gino_test/tweet/1/_update
{
    "doc" : {
        "views" : 56
    }
}

最終資料的樣子：

_index _type _id text fullname tags views
gino_test tweet 1 hello world gino zhang new, gino 56
gino_test tweet 2 gino like world cup gino li hobby, gino 21
gino_test tweet 3 my cup jsper li goods, jasper 68

執行一個查詢：

{
  "explain": true,
  "query": {
    "function_score": {
      "query": {
        "multi_match": {
          "query": "gino cup",
          "type": "cross_fields",
          "fields": [
            "text^8",
            "fullname^5"
          ]
        }
      },
      "boost": 2,
      "functions": [
        {
          "field_value_factor": {
            "field": "views",
            "factor": 1.2,
            "modifier": "sqrt",
            "missing": 1
          }
        },
        {
          "filter": {
            "term": {
              "tags": {
                "value": "goods"
              }
            }
          },
          "weight": 4
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "multiply"
    }
  }
}

查詢結果：score_example6.json https://drivenotepad.github.io/app/?state={%22action%22:%22open%22,%22ids%22:[%220B4dv03yigoV2MlRXU0xUUkdDZEU%22]}

打分分析：

score(q,d) = score_query(q,d) * (score_fvf(`view`) * score_filter(`tags:goods`))
  • score_mode表示多個FUNCTION之間打分的運演算法則，需要注意不同的FUNCTION的打分的結果級別可能相差很大；
  • boost_mode表示function_score和query_score打分的運演算法則，也需要注意打分結果的級別；

rescore重打分機制

重打分機制並不會應用到所有的資料中。比如需要查詢前10條資料，那麼所有的分片先按預設規則查詢出前10條資料，然後應用rescore規則進行重打分返回給master節點進行綜合排序返回給使用者。

rescore支援多個規則計算，以及與原先的預設打分進行運算（權重求和等）。

rescore因為計算的打分的document較少，效能應該會更好一點，但是這個涉及到全域性排序，實際運用的場景要注意。

相關推薦

ElasticSearch打分機制學習

建立一個索引 curl -s -XPUT 'http://localhost:9200/gino_test/' -d '{ "mappings": { "tweet": { "properties": { "text":

Elasticsearch使用rescore重打分機制

1、match和match_phrase（proximity match）的區別match --》只要簡單的匹配到了一個term，就可以理解將term對應的doc作為結果返回，掃描倒排索引，掃描到了就OK。match_phrase --》首先掃描到所有term的doc list；找到包含所有term的doc

elasticsearch 打分插件

elasticsearch 打分插件 插件常用命令./plugin list/remove/install目錄結構plugin.xml 代碼<?xml version="1.0"?> <assembly> <id>plugin</id>

java反射機制學習：初始反射機制

pro sta 加載 初始 完整 tac demo 獲得 sys 　　本人小白一枚，想和大家一起分享我學習java的筆記和心得。 反射機制： 指的是可以於運行時加載、探知、使用編譯期間完全未知的類。 程序在運行狀態中，可以動態加載一個只有名稱的類，對於任意一個已加載的

linux IPC機制學習博客

class chang strong 讀寫 com hang 創建 code 以及 要求 研究Linux下IPC機制：原理，優缺點，每種機制至少給一個示例，提交研究博客的鏈接 - 共享內存 - 管道 - FIFO - 信號 - 消息隊列 研究博客 管道(PIPE) 管道

C++ Binder機制學習

核心內容 Binder機制的核心實際上和Android中的Handler傳送訊息的機制很像，在Binder中負責發訊息的是繼承了BpInterface的子類，負責處理訊息的是BnInterface的子類 傳送訊息的具體函式是 remote()->transact();

ElasticSearch簡單demo學習

1、單例安裝和head外掛安裝 1)、從Elasticsearch官網下載zip檔案，解壓即可 2)、啟動Elasticsearch，找到安裝目錄中的bin\elasticsearch.bat，雙擊執行，在瀏覽器訪問localhost:9200，顯示elasticsearch基礎資訊

java虛擬機器類載入機制學習

1、什麼是類的載入 類的載入指的是將類的.class檔案中的二進位制資料讀入到記憶體中，將其放在執行時資料區的方法區內，然後在堆區建立一個java.lang.Class物件，用來封裝類在方法區內的資料結構。類的載入的最終產品是位於堆區中的Class物件，Class物件封裝了類在方法區內的資料結構

Android Handler訊息機制學習

1.概述   Handler允許你傳送和處理Message，以及和執行緒相關聯的Runnable物件。每一個Handler例項都與一個執行緒及該執行緒的MessageQueue相關聯。既當你建立一個Handler時，該Handler必須繫結一個執行緒以及該執行緒的訊息佇列，一旦它被建立，它能把message

ElasticSearch權威指南學習（分散式叢集）

空叢集 只有一個空節點的叢集 一個節點(node)就是一個Elasticsearch例項，而一個叢集(cluster)由一個或多個節點組成，它們具有相同的cluster.name，它們協同工作，分享資料和負載。當加入新的節點或者刪除一個節點時，叢集就會感知到並平衡資料。 叢集

ElasticSearch權威指南學習（對映和分析）

概念 對映(mapping)機制用於進行欄位型別確認，將每個欄位匹配為一種確定的資料型別(string, number, booleans, date等)。+ 分析(analysis)機制用於進行全文文字(Full Text)的分詞，以建立供搜尋用的反向索引。 資料型別差異 在索引中

ElasticSearch——搜尋機制

在個人的實踐中，ElasticSearch是充當關係型資料庫來使用，將Mysql中資料過大的超過1000w的表存入ES中，所以使用的全部是確切詞查詢而非全文檢索，因此在本次ES的學習中忽略了與全文檢索相關如得分等相關特性，這些在後續的有關搜尋引擎的實踐中會介紹。 在這張腦圖中主要介紹的是搜尋

201711671103《JAVA程式設計》第十二章多執行緒機制學習筆記

教材學習內容總結 1.執行緒是依附於程序的，程序是分配資源的最小單位，執行緒是比程序更小的執行單位。一個程序可以產生多個執行緒，形成多條執行線索。每條線索，即每個執行緒也有它自身的產生，存在和消亡過程，也是一個動態的概念。 2.JAVA 中的多執行緒機制：多執行緒是指一個應用程式同時存在好幾

JAVA 類載入機制學習筆記

JAVA 類生命週期   　　如上圖所示，Java類的生命週期如圖所示，分別為載入、驗證、準備、解析、初始化、使用、解除安裝。其中驗證、準備、解析這三個步驟統稱為連結。 　　載入：JVM根據全限定名來獲取一段二進位制位元組流，將二進位制流轉化為方法區的執行時資料結構，在記憶體中生成一個代表

Java Class類與反射機制學習筆記(一)

類的載入 當一個程式使用某一個類時，如果該類還未被載入到記憶體中，則系統會通過載入、連線、初始化三個步驟來實現對這個類的初始化。 載入 就是指將該類的 .class檔案讀入記憶體中，併為之建立一個

socket I/O機制學習

socket 多路I/O 機制學習 socket是不同程序間通訊的一種方法，在作業系統看來是一種I/O的介面。之前在計算機網路的課程中學習過socket的基本使用，但是對於其中的細節並不是完全瞭解，特別是除了同步阻塞模式，對其他I/O模式並不瞭解。這裡簡單總結一

Attention機制學習（二）使用

前言 前一篇部落格簡要的介紹了一下傳統的attention機制的基本思想， 本篇部落格解讀使用attention機制做機器翻譯的第一篇論文，通過這篇論文看attention的使用方法。 論文： NEURAL MACHINE TRANSLATION BY JOINTLY LEARNIN

Attention機制學習（一）傳統Attention機制

前言 縱觀神經網路的發展歷程，從最原始的MLP，到CNN，到RNN,到LSTM，GRU，再到現在的Attention機制，人們不斷的在網路裡面加入一些先驗知識，使得網路不過於“發散”，能夠朝著人們希望的方向去發展。 這些先驗知識是指：區域性視野知識、序列遞迴知識、結構遞迴知識，已經長

objc message 機制學習

    message 機制可以說是 objc 最重要的特徵，沒有之一。零零散散看了 method cache、method search 以及 message forward，串一串，總結一下。 message 機制帶來很大的靈活性，呼叫和實現完全解耦，實現上

Java反射機制學習過程——筆記

Class類 在Java中所有的反射操作都是圍繞Class類來展開的，Class這個類是在JDK1.0的時候出現的，可以說這個類是Java類中的元老李，那麼這個類究竟有什麼特別之處呢？檢視文件發現Class類是一個final類，也就是我們所說的太監類，不可能有子類，但是雖說