特點

支援三種分詞模式：
精確模式，試圖將句子最精確地切開，適合文字分析；
全模式，把句子中所有的可以成詞的詞語都掃描出來, 速度非常快，但是不能解決歧義；
搜尋引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用於搜尋引擎分詞。
支援繁體分詞
支援自定義詞典
MIT 授權協議

線上演示

程式碼對 Python 2/3 均相容

全自動安裝：easy_install jieba 或者pip install jieba / pip3 install jieba
半自動安裝：先下載 http://pypi.python.org/pypi/jieba/ ，解壓後執行 python setup.py install
手動安裝：將 jieba 目錄放置於當前目錄或者 site-packages 目錄
通過 import jieba 來引用
 

演算法

基於字首詞典實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖 (DAG)
採用了動態規劃查詢最大概率路徑, 找出基於詞頻的最大切分組合
對於未登入詞，採用了基於漢字成詞能力的 HMM 模型，使用了 Viterbi 演算法

主要功能

1. 分詞

   jieba.cut 方法接受三個輸入引數: 需要分詞的字串；cut_all 引數用來控制是否採用全模式；HMM 引數用來控制是否使用 HMM 模型
   jieba.cut_for_search 方法接受兩個引數：需要分詞的字串；是否使用 HMM 模型。該方法適合用於搜尋引擎構建倒排索引的分詞，粒度比較細
   待分詞的字串可以是 unicode 或 UTF-8 字串、GBK 字串。注意：不建議直接輸入 GBK 字串，可能無法預料地錯誤解碼成 UTF-8
   jieba.cut以及 jieba.cut_for_search 返回的結構都是一個可迭代的 generator，可以使用 for 迴圈來獲得分詞後得到的每一個詞語(unicode)，或者用
   jieba.lcut 以及jieba.lcut_for_search 直接返回 list
   jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定義分詞器，可用於同時使用不同詞典。jieba.dt 為預設分詞器，所有全域性分詞相關函式都是該分詞器的對映。

程式碼示例

#encoding=utf-8
import jieba

seg_list = jieba.cut(“我來到北京清華大學”, cut_all=True)
print("Full Mode: " + "/ ".join(seg_list)) # 全模式

seg_list = jieba.cut(“我來到北京清華大學”, cut_all=False)
print("Default Mode: " + "/ ".join(seg_list)) # 精確模式

seg_list = jieba.cut(“他來到了網易杭研大廈”) # 預設是精確模式
print(", ".join(seg_list))

seg_list = jieba.cut_for_search(“小明碩士畢業於中國科學院計算所，後在日本京都大學深造”) # 搜尋引擎模式
print(", ".join(seg_list))

輸出:

【全模式】: 我/ 來到/ 北京/ 清華/ 清華大學/ 華大/ 大學

【精確模式】: 我/ 來到/ 北京/ 清華大學

【新詞識別】：他, 來到, 了, 網易, 杭研, 大廈 (此處，“杭研”並沒有在詞典中，但是也被Viterbi演算法識別出來了)

【搜尋引擎模式】： 小明, 碩士, 畢業, 於, 中國, 科學, 學院, 科學院, 中國科學院, 計算, 計算所, 後, 在, 日本, 京都, 大學, 日本京都大學, 深造

2. 新增自定義詞典
   載入詞典

   開發者可以指定自己自定義的詞典，以便包含 jieba 詞庫裡沒有的詞。雖然 jieba 有新詞識別能力，但是自行新增新詞可以保證更高的正確率
   用法： jieba.load_userdict(file_name) # file_name 為檔案類物件或自定義詞典的路徑
   詞典格式和 dict.txt 一樣，一個詞佔一行；每一行分三部分：詞語、詞頻（可省略）、詞性（可省略），用空格隔開，順序不可顛倒。file_name 若為路徑或二進位制方式開啟的檔案，則檔案必須為 UTF-8 編碼。
   詞頻省略時使用自動計算的能保證分出該詞的詞頻。

例如：

創新辦 3 i
雲端計算 5
凱特琳 nz
臺中

更改分詞器（預設為jieba.dt）的 tmp_dir 和 cache_file 屬性，可分別指定快取檔案所在的資料夾及其檔名，用於受限的檔案系統。
範例：
自定義詞典：https://github.com/fxsjy/jieba/blob/master/test/userdict.txt
用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_userdict.py
    之前： 李小福 / 是 / 創新 / 辦 / 主任 / 也 / 是 / 雲 / 計算 / 方面 / 的 / 專家 /
    載入自定義詞庫後：　李小福 / 是 / 創新辦 / 主任 / 也 / 是 / 雲端計算 / 方面 / 的 / 專家 /

調整詞典

使用 add_word(word, freq=None, tag=None)和 del_word(word) 可在程式中動態修改詞典。
使用 suggest_freq(segment, tune=True) 可調節單個詞語的詞頻，使其能（或不能）被分出來。
注意：自動計算的詞頻在使用 HMM 新詞發現功能時可能無效。

程式碼示例：

print(’/’.join(jieba.cut(‘如果放到post中將出錯。’, HMM=False)))
如果/放到/post/中將/出錯/。

jieba.suggest_freq((‘中’, ‘將’), True)
494

print(’/’.join(jieba.cut(‘如果放到post中將出錯。’, HMM=False)))
如果/放到/post/中/將/出錯/。

print(’/’.join(jieba.cut(’「臺中」正確應該不會被切開’, HMM=False)))
「/臺/中/」/正確/應該/不會/被/切開

jieba.suggest_freq(‘臺中’, True)
69

print(’/’.join(jieba.cut(’「臺中」正確應該不會被切開’, HMM=False)))
「/臺中/」/正確/應該/不會/被/切開

3. 關鍵詞提取
   基於 TF-IDF 演算法的關鍵詞抽取

import jieba.analyse

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
sentence 為待提取的文字
topK 為返回幾個 TF/IDF 權重最大的關鍵詞，預設值為 20
withWeight 為是否一併返回關鍵詞權重值，預設值為 False
allowPOS 僅包括指定詞性的詞，預設值為空，即不篩選
jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 例項，idf_path 為 IDF 頻率檔案

關鍵詞提取所使用停止詞（Stop Words）文字語料庫可以切換成自定義語料庫的路徑

用法： jieba.analyse.set_stop_words(file_name) # file_name為自定義語料庫的路徑
自定義語料庫示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt
用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py

關鍵詞一併返回關鍵詞權重值示例

用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py

基於 TextRank 演算法的關鍵詞抽取

jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')) 直接使用，介面相同，注意預設過濾詞性。
jieba.analyse.TextRank() 新建自定義 TextRank 例項
演算法論文： TextRank: Bringing Order into Texts

基本思想:

將待抽取關鍵詞的文字進行分詞
以固定視窗大小(預設為5，通過span屬性調整)，詞之間的共現關係，構建圖
計算圖中節點的PageRank，注意是無向帶權圖

使用示例:

見 test/demo.py
4. 詞性標註

jieba.posseg.POSTokenizer(tokenizer=None) 新建自定義分詞器，tokenizer引數可指定內部使用的jieba.Tokenizer 分詞器。jieba.posseg.dt 為預設詞性標註分詞器。
標註句子分詞後每個詞的詞性，採用和 ictclas 相容的標記法。
用法示例

import jieba.posseg as pseg
words = pseg.cut(“我愛北京天安門”)
for word, flag in words:
… print(’%s %s’ % (word, flag))
…
我 r
愛 v
北京 ns
天安門 ns

5. 並行分詞

   原理：將目標文字按行分隔後，把各行文字分配到多個 Python 程序並行分詞，然後歸併結果，從而獲得分詞速度的可觀提升

   基於 python 自帶的 multiprocessing 模組，目前暫不支援 Windows

   用法：

   jieba.enable_parallel(4)# 開啟並行分詞模式，引數為並行程序數

   jieba.disable_parallel() # 關閉並行分詞模式

   實驗結果：在 4 核 3.4GHz Linux 機器上，對金庸全集進行精確分詞，獲得了 1MB/s 的速度，是單程序版的 3.3 倍。

   注意：並行分詞僅支援預設分詞器 jieba.dt 和jieba.posseg.dt。

6. Tokenize：返回詞語在原文的起止位置

   注意，輸入引數只接受 unicode
   預設模式

result = jieba.tokenize(u’永和服裝飾品有限公司’)
for tk in result:
print(“word %s\t\t start: %d \t\t end:%d” % (tk[0],tk[1],tk[2]))

word 永和 start: 0 end:2
word 服裝 start: 2 end:4
word 飾品 start: 4 end:6
word 有限公司 start: 6 end:10

搜尋模式

result = jieba.tokenize(u’永和服裝飾品有限公司’, mode=‘search’)
for tk in result:
print(“word %s\t\t start: %d \t\t end:%d” % (tk[0],tk[1],tk[2]))

word 永和 start: 0 end:2
word 服裝 start: 2 end:4
word 飾品 start: 4 end:6
word 有限 start: 6 end:8
word 公司 start: 8 end:10
word 有限公司 start: 6 end:10

7. ChineseAnalyzer for Whoosh 搜尋引擎

   引用： from jieba.analyse import ChineseAnalyzer
   用法示例https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py

8. 命令列分詞

使用示例：python -m jieba news.txt > cut_result.txt
命令列選項（翻譯）：

使用: python -m jieba [options] filename

結巴命令列介面。

固定引數:
filename 輸入檔案

可選引數:
-h, --help 顯示此幫助資訊並退出
-d [DELIM], --delimiter [DELIM]
使用 DELIM 分隔詞語，而不是用預設的’ / '。
若不指定 DELIM，則使用一個空格分隔。
-p [DELIM], --pos [DELIM]
啟用詞性標註；如果指定 DELIM，詞語和詞性之間
用它分隔，否則用 _ 分隔
-D DICT, --dict DICT 使用 DICT 代替預設詞典
-u USER_DICT, --user-dict USER_DICT
使用 USER_DICT 作為附加詞典，與預設詞典或自定義詞典配合使用
-a, --cut-all 全模式分詞（不支援詞性標註）
-n, --no-hmm 不使用隱含馬爾可夫模型
-q, --quiet 不輸出載入資訊到 STDERR
-V, --version 顯示版本資訊並退出

如果沒有指定檔名，則使用標準輸入。```
--help 選項輸出：

$> python -m jieba --help
Jieba command line interface.

positional arguments:
filename input file

optional arguments:
-h, --help show this help message and exit
-d [DELIM], --delimiter [DELIM]
use DELIM instead of ’ / ’ for word delimiter; or a
space if it is used without DELIM
-p [DELIM], --pos [DELIM]
enable POS tagging; if DELIM is specified, use DELIM
instead of ‘_’ for POS delimiter
-D DICT, --dict DICT use DICT as dictionary
-u USER_DICT, --user-dict USER_DICT
use USER_DICT together with the default dictionary or
DICT (if specified)
-a, --cut-all full pattern cutting (ignored with POS tagging)
-n, --no-hmm don’t use the Hidden Markov Model
-q, --quiet don’t print loading messages to stderr
-V, --version show program’s version number and exit

If no filename specified, use STDIN instead.```
延遲載入機制

jieba 採用延遲載入，import jieba 和 jieba.Tokenizer()不會立即觸發詞典的載入，一旦有必要才開始載入詞典構建字首字典。如果你想手工初始 jieba，也可以手動初始化。

import jieba
jieba.initialize() # 手動初始化（可選）在 0.28 之前的版本是不能指定主詞典的路徑的，有了延遲載入機制後，你可以改變主詞典的路徑:jieba.set_dictionary(‘data/dict.txt.big’)```
例子： https://github.com/fxsjy/jieba/blob/master/test/test_change_dictpath.py

#其他詞典

下載你所需要的詞典，然後覆蓋’ jieba/dict.txt '即可；或者用 ‘jieba.set_dictionary(‘data/dict.txt.big’)’

#常見問題
##1. 模型的資料是如何生成的？
詳見： https://github.com/fxsjy/jieba/issues/7
##2. “臺中”總是被切成“臺 中”？（以及類似情況）
P(臺中) ＜ P(臺)×P(中)，“臺中”詞頻不夠導致其成詞概率較低
解決方法：強制調高詞頻
jieba.add_word('臺中')或者jieba.suggest_freq('臺中', True)
##3. “今天天氣 不錯”應該被切成“今天 天氣 不錯”？（以及類似情況）
解決方法：強制調低詞頻
jieba.suggest_freq(('今天', '天氣'), True)
或者直接刪除該詞jieba.del_word('今天天氣')
##4. 切出了詞典中沒有的詞語，效果不理想？
解決方法：關閉新詞發現
jieba.cut('豐田太省了', HMM=False) jieba.cut('我們中出了一個叛徒', HMM=False)

#感激
感謝以下的專案,排名不分先後