在Elasticsearch中查詢Term Vectors詞條向量資訊
這篇文章有點深度，可能需要一些Lucene或者全文檢索的背景。由於我也很久沒有看過Lucene了，有些地方理解的不對還請多多指正。
更多內容還請參考整理的ELK教程
關於Term Vectors
額，對於這個專業詞彙，暫且就叫做詞條向量吧，因為實在想不出什麼標準的翻譯。說的土一點，也可以理解為關於詞的一些統計資訊。再說的通俗點，如果想進行全文檢索，即從一個詞搜尋與它相關的文件，總得有個什麼記錄的資訊吧！這就是Term Vectors。
為了不干擾正常的理解，後續就都直接稱呼英文的名字吧！免得誤導...
先不看這篇文章，如果想要記錄全文檢索的資訊，大家設想一下我們都需要什麼內容，就拿"hello world! hello everybody!"
- 首先就是這句話都有什麼詞，"hello","world","everybody"
- 然後是這些詞關聯的文件，因為有可能不止上面這一句話。
- 最後就是詞在文件中的位置，比如hello，出現了兩次，就需要記錄兩份位置資訊。
關於TermVector在Lucene中的概念，可以參考網路中的一篇文章
使用_termvectors查詢詞條向量
在Elasticsearch中可以使用_termvectors查詢一個文件中詞條相關的資訊。這個文件可能是es中儲存的，也可能是使用者直接在請求體中自定義的。這個方法預設是一個實時的統計資訊。
常見的語法如：
curl -XGET 'http://localhost:9200/twitter/tweet/1/_termvectors?pretty=true'
也可以指定某個欄位，返回這個欄位的資訊：
curl -XGET 'http://localhost:9200/twitter/tweet/1/_termvectors?fields=text,...'注意，在Elasticsearch中2.0之前都是使用_termvector，之後都是使用的_termvectors。
返回的資訊
使用上面的請求，會返回詞條相關的資訊：
- 詞條的資訊，比如position位置、start_offset開始的偏移值、end_offset結束的偏移值、詞條的payLoads（這個主要用於自定義欄位的權重）
- 詞條統計，doc_freq、ttf該詞出現的次數、term_freq詞的頻率
- 欄位統計，包含sum_doc_freq該欄位中詞的數量(去掉重複的數目)、sum_ttf文件中詞的數量（包含重複的數目）、doc_count涉及的文件數等等。
預設會返回詞條的資訊和統計，而不會返回欄位的統計。
另外，預設這些統計資訊是基於分片的，可以設定dfs為true,返回全部分片的資訊，但是會有一定的效能問題，所以不推薦使用。還可以使用field欄位對返回的統計資訊的欄位進行過濾，只返回感興趣的那部分內容。
例子1：返回儲存的Term Vectors資訊
首先需要定義一下對映的資訊：
curl -s -XPUT 'http://localhost:9200/twitter/' -d '{
"mappings": {
"tweet": {
"properties": {
"text": {
"type": "string",
"term_vector": "with_positions_offsets_payloads",
"store" : true,
"analyzer" : "fulltext_analyzer"
},
"fullname": {
"type": "string",
"term_vector": "with_positions_offsets_payloads",
"analyzer" : "fulltext_analyzer"
}
}
}
},
"settings" : {
"index" : {
"number_of_shards" : 1,
"number_of_replicas" : 0
},
"analysis": {
"analyzer": {
"fulltext_analyzer": {
"type": "custom",
"tokenizer": "whitespace",
"filter": [
"lowercase",
"type_as_payload"
]
}
}
}
}
}'然後插入兩條資料：
curl -XPUT 'http://localhost:9200/twitter/tweet/1?pretty=true' -d '{
"fullname" : "John Doe",
"text" : "twitter test test test "
}'
curl -XPUT 'http://localhost:9200/twitter/tweet/2?pretty=true' -d '{
"fullname" : "Jane Doe",
"text" : "Another twitter test ..."
}'接下來查詢一下文件1的Term Vectors資訊:
curl -XGET 'http://localhost:9200/twitter/tweet/1/_termvectors?pretty=true' -d '{
"fields" : ["text"],
"offsets" : true,
"payloads" : true,
"positions" : true,
"term_statistics" : true,
"field_statistics" : true
}'可以得到下面的結果：
{
"_id": "1",
"_index": "twitter",
"_type": "tweet",
"_version": 1,
"found": true,
"term_vectors": {
"text": {
"field_statistics": {
"doc_count": 2,
"sum_doc_freq": 6,
"sum_ttf": 8
},
"terms": {
"test": {
"doc_freq": 2,
"term_freq": 3,
"tokens": [
{
"end_offset": 12,
"payload": "d29yZA==",
"position": 1,
"start_offset": 8
},
{
"end_offset": 17,
"payload": "d29yZA==",
"position": 2,
"start_offset": 13
},
{
"end_offset": 22,
"payload": "d29yZA==",
"position": 3,
"start_offset": 18
}
],
"ttf": 4
},
"twitter": {
"doc_freq": 2,
"term_freq": 1,
"tokens": [
{
"end_offset": 7,
"payload": "d29yZA==",
"position": 0,
"start_offset": 0
}
],
"ttf": 2
}
}
}
}
}可以看到上面返回了詞條的統計資訊，以及欄位的統計資訊。
例子2：輕量級生成Term Vectors
雖然這個欄位不是顯示儲存的，但是仍然可以進行詞條向量的資訊統計。因為ES可以在查詢的時候，從_source中分析出相應的內容。
curl -XGET 'http://localhost:9200/twitter/tweet/1/_termvectors?pretty=true' -d '{
"fields" : ["text", "some_field_without_term_vectors"],
"offsets" : true,
"positions" : true,
"term_statistics" : true,
"field_statistics" : true
}'關於欄位的儲存於不儲存，可以簡單的理解為：
- 如果欄位儲存，在ES進行相關的查詢時，會直接從儲存的欄位讀取資訊
- 如果欄位不儲存，ES會從_source中查詢分析，提取相應的部分。
由於每次讀取操作都是一次的IO，因此如果你不是隻針對某個欄位、或者_source中的資訊太多，那麼請優先不儲存該欄位，即從_source中獲取就好。
例子3：手動自定義的文件統計
ES支援對一個使用者自定義的文件進行分析，比如：
curl -XGET 'http://localhost:9200/twitter/tweet/_termvectors' -d '{
"doc" : {
"fullname" : "John Doe",
"text" : "twitter test test test"
}
}'注意如果這個欄位沒有預先定義對映，那麼會按照預設的對映配置進行分析。
例子4：重新定義分析器
可以使用per_field_analyzer引數定義該欄位的分析器，這樣每個欄位都可以使用不同的分析器，分析其詞條向量的資訊。如果這個欄位已經經過儲存，那麼會重新生成它的詞條向量，如：
curl -XGET 'http://localhost:9200/twitter/tweet/_termvectors' -d '{
"doc" : {
"fullname" : "John Doe",
"text" : "twitter test test test"
},
"fields": ["fullname"],
"per_field_analyzer" : {
"fullname": "keyword"
}
}'會返回：
{
"_index": "twitter",
"_type": "tweet",
"_version": 0,
"found": true,
"term_vectors": {
"fullname": {
"field_statistics": {
"sum_doc_freq": 1,
"doc_count": 1,
"sum_ttf": 1
},
"terms": {
"John Doe": {
"term_freq": 1,
"tokens": [
{
"position": 0,
"start_offset": 0,
"end_offset": 8
}
]
}
}
}
}
}例子5：欄位過濾器
在進行詞條向量的資訊查詢時，可以根據自定義的過濾器，返回感興趣的資訊。
常用的過濾器引數如：
- max_num_terms 最大的詞條數目
- min_term_freq 最小的詞頻，比如忽略那些在欄位中出現次數小於一定值的詞條。
- max_term_freq 最大的詞頻
- min_doc_freq 最小的文件頻率，比如忽略那些在文件中出現次數小於一定的值的詞條
- max_doc_freq 最大的文件頻率
- min_word_length 忽略的詞的最小長度
- max_word_length 忽略的詞的最大長度
GET /imdb/movies/_termvectors
{
"doc": {
"plot": "When wealthy industrialist Tony Stark is forced to build an armored suit after a life-threatening incident, he ultimately decides to use its technology to fight against evil."
},
"term_statistics" : true,
"field_statistics" : true,
"dfs": true,
"positions": false,
"offsets": false,
"filter" : {
"max_num_terms" : 3,
"min_term_freq" : 1,
"min_doc_freq" : 1
}
}會返回：
{
"_index": "imdb",
"_type": "movies",
"_version": 0,
"found": true,
"term_vectors": {
"plot": {
"field_statistics": {
"sum_doc_freq": 3384269,
"doc_count": 176214,
"sum_ttf": 3753460
},
"terms": {
"armored": {
"doc_freq": 27,
"ttf": 27,
"term_freq": 1,
"score": 9.74725
},
"industrialist": {
"doc_freq": 88,
"ttf": 88,
"term_freq": 1,
"score": 8.590818
},
"stark": {
"doc_freq": 44,
"ttf": 47,
"term_freq": 1,
"score": 9.272792
}
}
}
}
}