概要

本篇簡單介紹一下field資料型別mapping的相關知識。

mapping是什麼？

前面幾篇的實戰案例，我們向Elasticsearch索引資料時，只是簡單地把JSON文字放在請求體裡，至於JSON裡的field型別，儲存到ES裡是什麼型別，中間是怎麼做的對映，這個對映過程，就是mapping要解決的問題。

mapping簡單來說，就是解決JSON文字內容到field型別對映關係的定義。將時間域視為時間型別，數字視為數字型別，字串識別為全文或精確值字串，這個識別的過程，叫做mapping。

Elasticsearch支援的簡單域型別，類似於Java的基礎資料型別，有如下幾種：

• 字串：text，keyword
• 整數 : byte, short, integer, long
• 浮點數: float, double
• 布林型: boolean
• 日期: date

當Elasticsearch收到JSON基本資料型別內容時，使用如下規則進行型別對映：
| JSON type | domain type
| :---- | :--: | -----: |
| 布林型: true 或者 false | boolean
| 整數: 123 | long
| 浮點數: 123.45 | double
| 日期格式的字串: 2014-09-15 | date
| 字串: love you | text

檢視對映

每個索引都可以通過/_mapping查詢各個field的對映結果，ES本身有自動mapping的過程，但mapping後的結果一定要仔細檢查一下。

查詢請求：

GET /music/_mapping/children

響應結果：

{
  "music": {
    "mappings": {
      "children": {
        "properties": {
          "content": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "language": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            },
            "fielddata": true
          },
          "length": {
            "type": "long"
          },
          "likes": {
            "type": "long"
          },
          "name": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    }
  }
}
 

mapping中就自動定義了每個field的資料型別，properties下面的是各個field欄位的名稱、型別等資訊，text型別的還帶一個keyword子field。

資料型別的分詞規則

index在建立時或索引資料時，如果沒有手動指定mapping資訊，Elasticsearch會用它的規則自動為我們建立type資訊，以及type對應的mapping，mapping中包含了每個field對應的資料型別，以及如何分詞等設定。

不同型別的field，有的是精確搜尋(exact value)，有的是全文搜尋(full text)。

• exact value，在建立倒排索引的時候，是將整個值一起作為一個關鍵詞建立到倒排索引中的，並且大小寫敏感；
• full text，會經歷各種各樣的處理，分詞，normaliztion（時態轉換，同義詞轉換，大小寫轉換），才會建立到倒排索引中。

在一個搜尋請求過來的時候，對exact value field和full text field進行搜尋的會與當初建立倒排索引的行為保持一致；比如說exact value搜尋的時候，就是直接按照整個值進行匹配，full text query string，也會進行分詞和normalization再去倒排索引中去搜索，這樣才能達到預期的搜尋效果。

ES基本的幾種field型別，除了text是使用full text，其他的都是exact value，總結來說mapping，決定了資料型別，建立倒排索引的行為，還有進行搜尋的行為。

自定義對映

基本資料型別基本夠用，但是有些資料可能需要自定義對映，尤其是字串，string型別預設是full text，但是我們可以自己定義分詞器，不同的分詞器，會帶來不一樣的搜尋效果，string型別最重要的屬性是index和analyzer。

index

這個屬性控制字串的索引規則，有三個值可供選擇：

• true：支援索引，並且依據當前型別決定是全文搜尋還是精確匹配
• false：不索引

例如：

{
    "author": {
        "type":     "text",
        "index":    true
    }
}

analyzer

這個屬性控制字串使用的分詞器，在支援中文的系統裡，這個屬性經常被用到，各路分詞器大顯身手，都需要用這個屬性來指定，如：

{
    "content": {
        "type":     "text",
        "analyzer":    "aliws"
    }
}

測試對映

我們在建立索引之後，可以通過測試命令來檢視不同的field的對映結果，即full text型別的是否有分詞， exact value的是否原樣保留，text的內容可以隨意輸入，當把這個作用工具除錯時，可以診斷的內容的分詞情況，舉例如下：

1. full text型別

GET /music/_analyze
{
  "field": "content",
  "text": "let me sleep" 
}

結果：

{
  "tokens": [
    {
      "token": "let",
      "start_offset": 0,
      "end_offset": 3,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "me",
      "start_offset": 4,
      "end_offset": 6,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "sleep",
      "start_offset": 7,
      "end_offset": 12,
      "type": "<ALPHANUM>",
      "position": 2
    }
  ]
}

1. exact value型別

GET /music/_analyze
{
  "field": "content.keyword",
  "text": "let me sleep" 
}

結果：

{
  "tokens": [
    {
      "token": "let me sleep",
      "start_offset": 0,
      "end_offset": 12,
      "type": "word",
      "position": 0
    }
  ]
}

注意一個小細節：Elasticsearch在自動建立text型別時，為full text，但會自動建立一個keywork子field，這個子field是exact value型別的。

小結

本篇主要介紹了一個mapping的概念，基礎資料型別，以及檢視對映資訊和測試field對映效果的方法，測試對映效果算是一個比較有用的工具，後期實際開發中，遇到需要診斷的內容，可以用這個工具協助排查問題。

專注Java高併發、分散式架構，更多技術乾貨分享與心得，請關注公眾號：Java架構社群

相關推薦