前述

本篇文章寫完需要半個小時,閱讀需要十分鐘,讀完後,你將學會在Python中使用NLPIR,以及關於使用它的一些有用的基礎知識
NLPIR 是中科院的漢語分詞系統,在Python中使用也比較廣泛,而且曾多次奪得漢語分詞比賽的冠軍,並且其可以在多個語言上都實現了介面甚至在Hadoop中也可以使用,博主比較推薦NLPIR

NLPIR在Python中的兩種實現方式的比較

NLPIR在Python中有兩種實現方式
1. pip install pynlpir(即下載,python封裝的nlpir類庫)
2. 直接在專案中引入NLPIR,使用官方的py檔案,直接呼叫dll檔案介面

第一種方式的好處在於便於使用?只需要pip install 即可,但是博主不推薦這種方式,因為pynlpir功能太少,根本無法滿足我們的使用要求,而且與其安裝pynlpir還不如直接安裝jieba,其原始碼中實現的介面如下:

在下載了pynlpir之後,我就開始上手使用,然而…它似乎沒有實現使用者新增詞典的功能,除非去包裡面直接把詞典換了,這樣一來,假如我們又遇到了”路明非”的問題,就是錯分新詞”路明非”為兩個詞”路明”,”明非”,原文例子請點選http://blog.csdn.net/fontthrone/article/details/72782499,在NLPIR沒有識別其為新詞的情況下,那麼我們根本無法通過pynlpir本身解決,雖然可以利用from pynlpir import nlpir

而相對之下,原版的NLPIR雖然配置略顯麻煩,但是無論更全面,因此在需要更強大的功能時,博主推薦使用NLPIR,而他們的功能我將會在下面的部分說明.

Python 類庫 pynlpir

1.安裝
無論py2/3,只需pip install pynlpir即可
2. demo code

# - * - coding: utf - 8 -*-
#
# 作者：田豐(FontTian)
 

# 建立時間:'2017/5/24'
# 郵箱：[email protected]
# CSDN：http://blog.csdn.net/fontthrone
import sys
reload(sys)
sys.setdefaultencoding('utf8')

import pynlpir
# from pynlpir import nlpir 
# 可以引用和原nlpir中差不多的py檔案
pynlpir.open()

s = '歡迎科研人員、技術工程師、企事業單位與個人參與NLPIR平臺的建設工作。'
str = s.encode('utf-8')
print str
wordslist1 = pynlpir.segment(str)
wordslist2 = pynlpir.get_key_words(str)
wordslist3 = pynlpir._get_pos_name(str)

# 下面的程式碼是在pynlpir中新增使用者自定義詞語
# pynlpir.AddUserWord('路明非')

print wordslist1

for item in wordslist1:
    print item[0]
    print item[1]
for item in wordslist2:
    print item

(1)即使是在python2中設定了檔案的預設格式為utf-8但是因為在windows中控制檯的中文預設編碼格式為gbk,所以控制檯的視窗依然會顯示亂碼,但是請放心,通過
import sys
reload(sys)
sys.setdefaultencoding('utf8')
其實str的預設編碼格式已經成了utf-8.
(2)為了在控制檯檢視demo中的分詞,可以使用迭代器迴圈輸出,同時也因為編碼格式確實是utf-8,所以這是即使不再使用encode(‘utf-8’),但是控制檯仍然不會亂碼.
下面是wordslist2中的分詞

效果良好

在Python中使用NLPIR的介面

在博主在Python中使用NLPIR的時候參考了這篇文章:Python呼叫中科院NLPIR（ICTCLAS2015）詳解,但是隻是部分借鑑,博主使用的是2016,其實使用NLPIR非常簡單,只要自己看看官方的文件就可以很好的使用,不過官方文件是真的亂.而且是分散的.

1.根據博主之前參考的部落格,似乎想要使用NLPIR,首先要在電腦上搭建swig
下面是一段引用,github下載地址swig官網下載地址

友情提示：如果是swig問題，自己處理。首先下載swig，swig可以幫助我們將C或者C++編寫的DLL或者SO檔案繫結到包括Python在內的多種語言。Windows下將安裝包下載到一定目錄下將該目錄加入環境變數的path中即可使用swig（當然也可以輸入完整的路徑來使用swig）。可以開啟命令列視窗，在裡面輸入swig，如果出現“Must specify an input file. Use -help for available options.”則表示一切順利。

3.
(1)在下載檔案之後,解壓檔案,然後新建資料夾”組合包”,其它名稱亦可
(2)組合包內成員包括:
1. 漢語分詞20140928\sample\pythonsample下所有檔案
2. Data資料夾,直接複製拖入即可
3. 新建資料夾”bin”下為”importuserdict”中的zip檔案解壓後文件,注意此處為NLPIR的自帶詞典,如果你想新增自己的詞典,你可以閱讀此檔案下的REAME.txt,來新增自己的詞庫
4. 根據機器的位數(64/32)修改配置檔案

5. 證書問題:當你一次在Python中呼叫NLPIR時會報:Initialization failed!
放心第一次執行出現這個錯誤這一般是正常的你只要去現在最新的授權證書就可以了.
具體請參考我之前的文章:http://blog.csdn.net/fontthrone/article/details/72692691
6. 注意預設的nlpir的預設Python介面為Python2.如果你想在python3中使用nlpir你可以參考官方文件,同時這篇文章中也對python介面的其他問題進行了說明:
https://github.com/haobibo/ICTCLAS_Python_Wrapper
7.在Python2.7中使用NLPIR2016
(1)直接將剛才做好的資料夾中的所有檔案拖入你的專案即可使用:

(2)然後按照普通的引用Python檔案來使用nlpir即可:

(3)具體可引用的方法直接查詢官方給的nlpir檔案即可

在測試之後,確實直接引用官方介面,功能確實強了很多
最後附上一個簡單的測試程式碼,我將會在下一篇文章詳細介紹nlpir2016Python介面使用(最近有點忙,可能在這個週週末才能更新,故而附上小生qq:2404846224,有興趣一起學習的小夥伴,請備註來自csdn部落格)

# - * - coding: utf - 8 -*-
#
# 作者：田豐(FontTian)
# 建立時間:'2017/5/31'
# 郵箱：[email protected]
# CSDN：http://blog.csdn.net/fontthrone

from os import path
from nlpir import *
from scipy.misc import imread
import matplotlib.pyplot as plt
from wordcloud import WordCloud, ImageColorGenerator

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

d = path.dirname(__file__)
AddUserWord('龍族')
AddUserWord('大和炮')
AddUserWord('競技類')
# Init()
# SaveTheUsrDic('路明非')

text_path = 'txt/lztest.txt' #設定要分析的文字路徑
stopwords_path = 'stopwords\stopwords1893.txt' # 停用詞詞表
text = open(path.join(d, text_path)).read()
txt = seg(text)
seg_list =[]
for t in txt:
    seg_list.append(t[0].encode('utf-8'))
    seg_list += ' '
# 使用NLPIR進行中文分詞
print seg_list

# 去除停用詞
def jiebaclearText(text):
    mywordlist = []
    liststr = "/ ".join(seg_list)
    f_stop = open(stopwords_path)
    try:
        f_stop_text = f_stop.read()
        f_stop_text = unicode(f_stop_text, 'utf-8')
    finally:
        f_stop.close()
    f_stop_seg_list = f_stop_text.split('\n')
    for myword in liststr.split('/'):
        if not (myword.strip() in f_stop_seg_list) and len(myword.strip()) > 1:
            mywordlist.append(myword)
    return ''.join(mywordlist)

# 去除完停用詞的文字
s = jiebaclearText(seg_list)
print s