coreseek分詞配置
阿新 • • 發佈：2019-01-02
中文分詞核心配置
coreseek-3.2.13相容sphinx-0.9.9的配置，可以不經修改，即可直接使用。不過，為了更好的針對中文進行檢索，則需要使用coreseek新增的配置引數，設定中文分詞。
以下是中文分詞的核心配置，請仔細閱讀，應用到自己的配置之中：
source 資料來源名稱a
{
#......
#該部分的配置，直接採用sphinx的配置，無需更改即可直接使用
#......
}
index 索引名稱a
{
#以下部分的配置，直接採用sphinx的配置，無需更改即可直接使用 #...... source = 資料來源名稱a #對應到source path = var/data/資料來源名稱a docinfo = extern mlock = 0 morphology = none min_word_len = 1 html_strip = 0 #...... #以上部分的配置，直接採用sphinx的配置，無需更改即可直接使用
#以下部分為中文分詞核心配置 #stopwords = /path/to/stowords.txt的位置 charset_dictpath = /usr/local/mmseg3/etc/ charset_type = zh_cn.utf-8 #charset_table = .................... #需將原有 的該配置註釋掉 ngram_len = 0 #以上部分為中文分詞核心配置}
mmseg.ini配置： mmseg配置檔案之中，可以配置英文和數字的切分細則（例如設定china2008作為整體還是切分為china、2008），詳情請檢視mmseg.ini配置
中文分詞核心配置說明：
charset_dictpath=/usr/local/mmseg3/etc/
必須設定，表示詞典檔案的目錄，該目錄下必須有uni.lib詞典檔案存在；
uni.lib詞典檔案的製作，請參考：mmseg詞典的構造；特別注意，更換或者修改詞典後，需要重新索引資料並重啟searchd才能生效。
因為BSD/linux預設安裝在/usr/local/mmseg3/etc下面，則使用/usr/local/mmseg3/etc/即可；
如果是在Windows系統下，則為詞典所在的實際路徑，結尾必須使用/，例如：F:\coreseek-3.2.13-win32\etc/
測試時，如果出現Unigram dictionary load Error或者Segmentation fault，一般為詞典路徑設定不正確。
charset_type=zh_cn.utf-8
必須設定，表示啟用中文分詞功能；否則中文分詞功能無效，使用sphinx的其他處理模式。
啟用中文分詞功能後，需要source資料來源之中，讀取的資料編碼字符集為UTF-8，否則無法正確處理；
如果是xml，則正確輸出為UTF-8編碼格式即可；
如果是MySQL，則設定讀取資料輸出字符集為UTF-8即可：
MySQL4.1起可以通過SET NAMES UTF8設定輸出字符集為UTF-8，即使原始資料為GBK也可；
MySQL4.1以下版本，請直接聯絡我們解決GBK或者Latin1輸出為UTF-8問題；
#stopwords=/path/to/stowords.txt的位置
可選設定，表示停止詞檔案，該檔案中的詞彙（也可以為單字）不參與搜尋；檔案格式為普通UTF-8文字檔案，每行一個；
#charset_table=......
ngram_len=0
必須設定，表示取消原有的一元字元切分模式，不使其對中文分詞產生干擾；
charset_table的配置需要註釋掉！
ngram_len的配置需要設定為0！
同義詞/複合分詞設定
針對大家的需要，coreseek所使用的mmseg增加了同義詞處理功能，可以實現類似複合分詞的處理。
同義詞/複合分詞基本使用狀況為： 詞庫包含： 南京西路、南京、西路 索引時： 文字中的“南京西路”會被同時索引為以上三者 查詢時： 輸入南京西路，可以直接匹配南京西路，而不匹配南京或者西路； 輸入南京或者西路，也可以搜尋到南京西路詳情請檢視：mmseg同義詞/複合分詞，瞭解具體處理和配置。
如果使用預設的詞庫，沒有做過自定義，則可以直接下載thesaurus.lib，放到uni.lib所在目錄！
一元切分模式核心配置
如果應用場合特殊，且資料量較小，需要對每一箇中文進行切分，以字為單位進行搜尋，則可以採用一元切分模式。啟用此模式，中文字元流會被當作單字索引。
例如，如果輸入文字為“ABCDEF”（A到 F均代表中文字元），那它們會被當作“A B C D E F”而索引。
如果索引文字為“我愛北京天安門”，則被當做“我 愛 北 京 天 安 門”而索引，查詢的時候，使用關鍵詞"北"、“北京”、“北京天”、“北京天安” 或者 “北京天安門”均可以搜尋到“我愛北京天安門”。
但是，一元切分模式會導致索引膨脹到最大可能，對效能也會有較大影響。非特殊情況，或者資料量較小，不推薦使用！不過，如果您有大量的資金或者硬體投入，則另當別論！
以下是一元切分模式的核心配置，請仔細閱讀，應用到自己的配置之中：
source 資料來源名稱a
{
#......
#該部分的配置，直接採用sphinx的配置，無需更改即可直接使用
#......
}
index 索引名稱a
{
#以下部分的配置，直接採用sphinx的配置，無需更改即可直接使用 #...... source = 資料來源名稱a #對應到source path = var/data/資料來源名稱a docinfo = extern mlock = 0 morphology = none min_word_len = 1 html_strip = 0 #...... #以上部分的配置，直接採用sphinx的配置，無需更改即可直接使用
#以下部分為一元切分模式核心配置 #charset_dictpath = /usr/local/mmseg3/etc/ charset_type = utf-8 ngram_len = 1 ngram_chars = U+4E00..U+9FBF, U+3400..U+4DBF, U+20000..U+2A6DF, U+F900..U+FAFF,\ U+2F800..U+2FA1F, U+2E80..U+2EFF, U+2F00..U+2FDF, U+3100..U+312F, U+31A0..U+31BF,\ U+3040..U+309F, U+30A0..U+30FF, U+31F0..U+31FF, U+AC00..U+D7AF, U+1100..U+11FF,\ U+3130..U+318F, U+A000..U+A48F, U+A490..U+A4CF charset_table = U+FF10..U+FF19->0..9, 0..9, U+FF41..U+FF5A->a..z, U+FF21..U+FF3A->a..z,\ A..Z->a..z, a..z, U+0149, U+017F, U+0138, U+00DF, U+00FF, U+00C0..U+00D6->U+00E0..U+00F6,\ U+00E0..U+00F6, U+00D8..U+00DE->U+00F8..U+00FE, U+00F8..U+00FE, U+0100->U+0101, U+0101,\ U+0102->U+0103, U+0103, U+0104->U+0105, U+0105, U+0106->U+0107, U+0107, U+0108->U+0109,\ U+0109, U+010A->U+010B, U+010B, U+010C->U+010D, U+010D, U+010E->U+010F, U+010F,\ U+0110->U+0111, U+0111, U+0112->U+0113, U+0113, U+0114->U+0115, U+0115, \ U+0116->U+0117,U+0117, U+0118->U+0119, U+0119, U+011A->U+011B, U+011B, U+011C->U+011D,\ U+011D,U+011E->U+011F, U+011F, U+0130->U+0131, U+0131, U+0132->U+0133, U+0133, \ U+0134->U+0135,U+0135, U+0136->U+0137, U+0137, U+0139->U+013A, U+013A, U+013B->U+013C, \ U+013C,U+013D->U+013E, U+013E, U+013F->U+0140, U+0140, U+0141->U+0142, U+0142, \ U+0143->U+0144,U+0144, U+0145->U+0146, U+0146, U+0147->U+0148, U+0148, U+014A->U+014B, \ U+014B,U+014C->U+014D, U+014D, U+014E->U+014F, U+014F, U+0150->U+0151, U+0151, \ U+0152->U+0153,U+0153, U+0154->U+0155, U+0155, U+0156->U+0157, U+0157, U+0158->U+0159,\ U+0159,U+015A->U+015B, U+015B, U+015C->U+015D, U+015D, U+015E->U+015F, U+015F, \ U+0160->U+0161,U+0161, U+0162->U+0163, U+0163, U+0164->U+0165, U+0165, U+0166->U+0167, \ U+0167,U+0168->U+0169, U+0169, U+016A->U+016B, U+016B, U+016C->U+016D, U+016D, \ U+016E->U+016F,U+016F, U+0170->U+0171, U+0171, U+0172->U+0173, U+0173, U+0174->U+0175,\ U+0175,U+0176->U+0177, U+0177, U+0178->U+00FF, U+00FF, U+0179->U+017A, U+017A, \ U+017B->U+017C,U+017C, U+017D->U+017E, U+017E, U+0410..U+042F->U+0430..U+044F, \ U+0430..U+044F,U+05D0..U+05EA, U+0531..U+0556->U+0561..U+0586, U+0561..U+0587, \ U+0621..U+063A, U+01B9,U+01BF, U+0640..U+064A, U+0660..U+0669, U+066E, U+066F, \ U+0671..U+06D3, U+06F0..U+06FF,U+0904..U+0939, U+0958..U+095F, U+0960..U+0963, \ U+0966..U+096F, U+097B..U+097F,U+0985..U+09B9, U+09CE, U+09DC..U+09E3, U+09E6..U+09EF, \ U+0A05..U+0A39, U+0A59..U+0A5E,U+0A66..U+0A6F, U+0A85..U+0AB9, U+0AE0..U+0AE3, \ U+0AE6..U+0AEF, U+0B05..U+0B39,U+0B5C..U+0B61, U+0B66..U+0B6F, U+0B71, U+0B85..U+0BB9, \ U+0BE6..U+0BF2, U+0C05..U+0C39,U+0C66..U+0C6F, U+0C85..U+0CB9, U+0CDE..U+0CE3, \ U+0CE6..U+0CEF, U+0D05..U+0D39, U+0D60,U+0D61, U+0D66..U+0D6F, U+0D85..U+0DC6, \ U+1900..U+1938, U+1946..U+194F, U+A800..U+A805,U+A807..U+A822, U+0386->U+03B1, \ U+03AC->U+03B1, U+0388->U+03B5, U+03AD->U+03B5,U+0389->U+03B7, U+03AE->U+03B7, \ U+038A->U+03B9, U+0390->U+03B9, U+03AA->U+03B9,U+03AF->U+03B9, U+03CA->U+03B9, \ U+038C->U+03BF, U+03CC->U+03BF, U+038E->U+03C5,U+03AB->U+03C5, U+03B0->U+03C5, \ U+03CB->U+03C5, U+03CD->U+03C5, U+038F->U+03C9,U+03CE->U+03C9, U+03C2->U+03C3, \ U+0391..U+03A1->U+03B1..U+03C1,U+03A3..U+03A9->U+03C3..U+03C9, U+03B1..U+03C1, \ U+03C3..U+03C9, U+0E01..U+0E2E,U+0E30..U+0E3A, U+0E40..U+0E45, U+0E47, U+0E50..U+0E59, \ U+A000..U+A48F, U+4E00..U+9FBF,U+3400..U+4DBF, U+20000..U+2A6DF, U+F900..U+FAFF, \ U+2F800..U+2FA1F, U+2E80..U+2EFF,U+2F00..U+2FDF, U+3100..U+312F, U+31A0..U+31BF, \ U+3040..U+309F, U+30A0..U+30FF,U+31F0..U+31FF, U+AC00..U+D7AF, U+1100..U+11FF, \ U+3130..U+318F, U+A000..U+A48F,U+A490..U+A4CF #以上部分為一元切分模式核心配置}
一元切分模式核心配置說明：
#charset_dictpath=/usr/local/mmseg3/etc/
需要註釋掉，從而關閉可以提升效能和精確度的中文分詞功能！
charset_type=utf-8
表示啟用使用utf-8字符集，來處理中文字元。
啟用一元切分模式後，需要source資料來源之中，讀取的資料編碼字符集為UTF-8，否則無法正確處理；
如果是xml，則正確輸出為UTF-8編碼格式即可；
如果是MySQL，則設定讀取資料輸出字符集為UTF-8即可：
MySQL4.1起可以通過SET NAMES UTF8設定輸出字符集為UTF-8，即使原始資料為GBK也可；
MySQL4.1以下版本，請直接聯絡我們解決GBK或者Latin1輸出為UTF-8問題；
ngram_len=1
表示使用一元字元切分模式，從而得以對單箇中文字元進行索引；
ngram_chars=U+4E00..U+9FBF, ......
表示要進行一元字元切分模式的字符集；
charset_table=U+FF10..U+FF19->0..9, 0..9,......
表示可被一元字元切分模式認可的有效字符集；