本文地址，需轉載請註明出處：

當我們使用中文分詞器的時候，其實也希望它能夠支援對於英文的分詞。試想，任何一個儲存文字的欄位都有可能是中英文夾雜的。

我們的專案中使用IKAnalyzer作為中文分詞器，它在處理文件過程中遇到英文時，利用空格和標點將英文單詞取出來，同時也會對其轉全小寫處理。其實這和真正的英文分詞已經很接近了，只有一牆之隔：詞幹提取。一個真正的英文分詞器除了分割提取單詞和全小寫處理以外，還會把單詞回溯成詞根。

比如說有一個句子：

I like cats!

它的正確分詞為：

[i, like, cat]

詞根化是一個英文分詞器需要具備的功能。IKAnalyzer正是缺少了這點，它對例句的處理結果會是：[i, like, cats

分析一下analyzer的內部邏輯：

Analyzer 的內部就是一條流水線

• Step 1 字元過濾（Character filter）
• Step 2 分詞 （Tokenization）
• Step 3 Token 過濾（Token filtering）

Elasticsearch 已經預設構造了 8個 Analyzer。若無法滿足我們的需求，可以通過「Setting API」構造 Analyzer。

通過構造analyzer，我們可以對IK中文分詞器做一些修改，讓它實現回溯詞根。

{
  "settings": {
    "analysis": {
      "analyzer": {
        "optimizeIK": {
          "type": "custom",
          "tokenizer": "ik",
          "filter": [
            "stemmer"
          ]
        }
      }
    }
  }
}

我們新建了一個分析器，它使用ik作為分詞器，使用stemmer作為過濾器。stemmer是elasticsearch自帶的一個提取詞幹的演算法，類似的還有

測試一下：

-POST   {index_name}/_analyze?pretty&analyzer=optimizeIK

"I like cats"

返回結果：

{

• "tokens": [
  • {
    • "token": "i",
    • "start_offset": 1,
    • "end_offset": 2,
    • "type": "ENGLISH",
    • "position": 1
    },
  • {
    • "token": "like",
    • "start_offset": 3,
    • "end_offset": 7,
    • "type": "ENGLISH",
    • "position": 2
    },
  • {
    • "token": "cat",
    • "start_offset": 8,
    • "end_offset": 12,
    • "type": "ENGLISH",
    • "position": 3
    }
  ]

至此，optimizeIK分析器同時擁有了中文+外文分詞的功能。

如果你想把這個分析器設成該index的預設分析器，給它的命名叫default即可。

歡迎交流。