Solr的中文分詞器

1. 中文分詞在solr裡面是沒有預設開啟的，需要我們自己配置一箇中文分詞器。
2. 目前可用的分詞器有smartcn，IK，Jeasy，庖丁。其實主要是兩種，一種是基於中科院ICTCLAS的隱式馬爾科夫HMM演算法的中文分詞器，如smartcn，ictclas4j，優點是分詞準確度高，缺點是不能使用使用者自定義詞庫；另一種是基於最大匹配的分詞器，如IK ，Jeasy，庖丁，優點是可以自定義詞庫，增加新詞，缺點是分出來的垃圾詞較多。各有優缺點。
3. 面給出兩種分詞器的安裝方法，任選其一即可，推薦第一種，因為smartcn就在solr發行包的contrib/analysis-extras/lucene-libs/下，就是lucene-analyzers-smartcn-4.2.0.jar，首選在solrconfig.xml中加一句引用analysis-extras的配置，這樣我們自己加入的分詞器才會引到的solr中。
   

smartcn 分詞器的安裝

1.首選將發行包的contrib/analysis-extras/lucene-libs/ lucene-analyzers-smartcn-4.2.0.jar複製到\solr\contrib\analysis-extras\lib下,在solr_home資料夾下
2.開啟/ims_advertiesr_core/conf/scheme.xml，編輯text欄位型別如下，新增以下程式碼到scheme.xml中的相應位置，就是找到fieldType定義的那一段，在下面多新增這一段就好啦

<fieldType name="text_smartcn" class
 
="solr.TextField" positionIncrementGap="0">
      <analyzer type="index">
        <tokenizer class="org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory"/>
        <filter class="org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory"/>
      </analyzer
 
>
      <analyzer type="query">
         <tokenizer class="org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory"/>
        <filter class="org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory"/>
      </analyzer>
</fieldType>

如果需要檢索某個欄位，還需要在scheme.xml下面的field中，新增指定的欄位，用text_ smartcn作為type的名字，來完成中文分詞。如 text要實現中文檢索的話，就要做如下的配置：

<field name ="text" type ="text_smartcn" indexed ="true" stored ="false" multiValued ="true"/>

IK 分詞器的安裝

IKAnalyzer2012FF_u1.jar       //分詞器jar包
IKAnalyzer.cfg.xml            //分詞器配置檔案
stopword.dic                  //分詞器停詞字典,可自定義新增內容

1. 將IKAnalyzer2012FF_u1.jar 加入C:\apache-tomcat-7.0.57\webapps\solr\WEB-INF\lib中。
2. 在C:\apache-tomcat-7.0.57\webapps\solr\WEB-INF下新建classes資料夾，將IKAnalyzer.cfg.xml、keyword.dic、stopword.dic加入classes裡。
3. 然後就可以像smartcn一樣進行配置scheme.xml了

<!-- 配置IK分詞器start -->
 <fieldType name="text_ik" class="solr.TextField" positionIncrementGap="100">
    <analyzer type="index">
    <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" isMaxWordLength="false"/>
        <filter class="solr.LowerCaseFilterFactory"/>
    </analyzer>

    <analyzer type="query">
        <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" isMaxWordLength="false"/>
        <filter class="solr.LowerCaseFilterFactory"/>
    </analyzer>
</fieldType>

中文分詞器mmseg4j

mmseg4j-solr-2.3.0支援solr5.3
1.將兩個jar包考入tomcat中solr專案裡的lib檔案內

2.配置solr_home中的schema.xml
在下面標籤

<fieldType name="currency" class="solr.CurrencyField" precisionStep="8" defaultCurrency="USD" currencyConfig="currency.xml" /></fieldType>

裡新增：

<fieldtype name="textComplex" class="solr.TextField" positionIncrementGap="100"> 
  <analyzer> 
    <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="dic"/> 
  </analyzer> 
</fieldtype> 

<fieldtype name="textMaxWord" class="solr.TextField" positionIncrementGap="100"> 
  <analyzer> 
    <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" /> 
  </analyzer> 
</fieldtype>

<fieldtype name="textSimple" class="solr.TextField" positionIncrementGap="100"> 
  <analyzer> 
    <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="n:/custom/path/to/my_dic" /> 
  </analyzer> 
</fieldtype>

重啟tomcat測試分詞

在schema.xml裡定義：

<field name="content_test" type="textMaxWord" indexed="true" stored="true" multiValued="true"/>

然後測試：