solr 中文分詞mmeseg4j與ik analyzer效果對比
阿新 • • 發佈:2019-01-03
摘要: 之前用solr6成功集成了中文分詞mmeseg4j,也順利整合了ik analyzer,對比一下他們分詞的效果。
- 1884年,中法戰爭時被派福建會辦海疆事務。
ik analyzer:1884 | 年 | 中法戰爭 | 中法 | 戰爭 | 時 | 派| 福建 | 會辦 | 海疆 | 事務
mmeseg4j_simple:1884 | 年 | 中法 | 戰爭 | 時 | 被 | 派| 福建 | 會辦 | 海疆 | 事務
mmeseg4j_maxword:1884 | 年 | 中法 | 戰爭 | 時 | 被 | 派| 福建 | 會辦 | 海疆 | 事務
mmeseg4j_complex:1884 | 年 | 中法 | 戰爭 | 時 | 被 | 派| 福建 | 會辦 | 海疆 | 事務 - 2000年中法國足球比賽
ik analyzer:2000 | 年中 | 中 | 中法 | 中 | 法國 | 國足 | 足球 | 比賽 | 足球比賽
mmeseg4j_simple:2000 | 年 | 中法 | 國 | 足球比賽
mmeseg4j_maxword:2000 | 年 | 中法 | 國 | 足球 | 比賽
mmeseg4j_complex:2000 | 年 | 中法 | 國 | 足球比賽 - 雲天落日圓 偷歡不成倒大黴
ik analyzer:雲天 | 落日 | 日圓 | 偷歡 | 倒大黴
mmeseg4j_simple:雲天 | 落日 | 圓 | 偷歡 | 不成 | 倒 | 大黴
mmeseg4j_maxword:雲天 | 落 | 日圓 | 偷歡 | 不成 | 倒 | 大黴
mmeseg4j_complex:雲天 | 落 | 日圓 | 偷歡 | 不成 | 倒 | 大黴 - 中國人民銀行
ik analyzer:中國人民銀行 | 中國人民 | 中國人 | 中國 | 國人 | 人民銀行 | 銀行
mmeseg4j_simple:中國人民銀行
mmeseg4j_maxword:中國 | 國人 | 人民 | 銀行
mmeseg4j_complex:中國人民銀行 - 我們家門前的大水溝很難過
ik analyzer:我們家 | 家門 | 門前 | 大水溝 | 大水| 水溝 | 很難 | 難過
mmeseg4j_simple:我們 | 家門 | 前 | 的 | 大水 | 溝 | 很難 | 過
mmeseg4j_maxword:我們 | 家門 | 前 | 的 | 大水 | 溝 | 很難 | 過
mmeseg4j_complex:我們 | 家門 | 前 | 的 | 大水 | 溝 | 很難 | 過 - 我愛北京天安門
ik analyzer:愛 | 北京 | 天安門 | 天安 | 門
mmeseg4j_simple:我愛 | 北京 | 天安門
mmeseg4j_maxword:我愛 | 北京 | 天安 | 門
mmeseg4j_complex:我愛 | 北京 | 天安門 - 研究生命起源
ik analyzer:研究生 | 研究 | 生命 | 起源
mmeseg4j_simple:研究生 | 命 | 起源
mmeseg4j_maxword:研究 | 生命 | 起源
mmeseg4j_complex:研究 | 生命 | 起源 - 受一股來自中西伯利亞的強冷空氣影響
ik analyzer:受 | 一股 | 股 | 來自 | 中西 | 西伯利亞 | 西伯 |伯利 | 亞 | 強冷空氣 | 冷空氣 | 空氣 | 影響
mmeseg4j_simple:受 | 一股 | 來自 | 中西 | 伯 | 利 | 亞 | 的 | 強 | 冷空氣 | 影響
mmeseg4j_maxword:受 | 一股 | 來自 | 中 | 西 | 伯 | 利 | 亞 | 的 | 強 | 冷 | 空氣 | 影響
mmeseg4j_complex:受 | 一股 | 來自 | 中 | 西伯利亞 | 的 | 強 | 冷空氣 | 影響
整體來看,ik analyzer的分詞效果要好一些,雖然mmeseg4j有多種分詞模式,但是simple和complex的效果相差甚微,而maxword模式往往不能起到分詞效果。