作者：白寧超

2016年11月8日22:45:44

摘要：NLTK是由賓夕法尼亞大學計算機和資訊科學使用python語言實現的一種自然語言工具包，其收集的大量公開資料集、模型上提供了全面、易用的介面，涵蓋了分詞、詞性標註(Part-Of-Speech tag, POS-tag)、命名實體識別(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各項 NLP 領域的功能。本文主要介紹：1）怎樣編寫程式訪問本地和網路上的檔案，從而獲得無限的語言材料？2）如何把文件分割成單獨的單詞和標點符號，並進行文字語料上的分析？3）怎樣編寫程式產生格式化輸出，並把結果儲存在檔案中？關於Python基礎知識可以參看本人的

【Python五篇慢慢彈】系列文章（本文原創編著，轉載註明出處:Python NLTK處理原始文字）

目錄

關於處理原始文字部分匯入語句：

>>> from __future__ import division
>>> import nltk,re,pprint

1 從網路和硬碟訪問文字（線上獲取傷寒雜病論）

 python網路訪問程式：

>>> from __future__ import division
>>> import nltk,re,pprint
>>> from urllib.request import urlopen
>>> url=r'http://www.gutenberg.org/files/24272/24272-0.txt'
>>> raw=urlopen(url).read()
>>> raw = raw.decode('utf-8')
>>> len(raw)
70306
>>> raw[2000:2500]

 執行結果：

對其中文分詞：

>>> from nltk.tokenize import StanfordSegmenter
>>> segmenter = StanfordSegmenter(
    path_to_jar=r"E:\tools\stanfordNLTK\jar\stanford-segmenter.jar",
    path_to_slf4j=r"E:\tools\stanfordNLTK\jar\slf4j-api.jar",
    path_to_sihan_corpora_dict=r"E:\tools\stanfordNLTK\jar\data/",
    path_to_model=r"E:\tools\stanfordNLTK\jar\data\pku.gz",
    path_to_dict=r"E:\tools\stanfordNLTK\jar\data\dict-chris6.ser.gz"
)
>>> result = segmenter.segment(raw)
>>> result[1000:2500]

 分詞結果：

2 線上獲取處理HTML文字(紅樓夢)

線上獲取html文字資料：

>>> import re,nltk
>>> from urllib.request import urlopen
>>> url='http://www.gutenberg.org/cache/epub/24264/pg24264-images.html'
>>> html=urlopen(url).read()
>>> html=html.decode('utf-8')
>>> html[5000:5500]

 執行結果：

相關正則知識：

1. \d  匹配一個數字
2. \w 匹配一個字母或者數字
3. *  任意個字元（包括0個），
4. +  至少一個字元
5. ?  0個或1個字元
6. {n} n個字元
7. {n,m} n-m個字元
8. \s 匹配一個空格
9. \s+ 至少有一個空格
10. \d{3,8} 表示3-8個數字，例如'1234567'
11. \d{3}\s+\d{3,8}
12. [0-9a-zA-Z\_] 匹配一個數字、字母或者下劃線
13. [0-9a-zA-Z\_]+ 匹配至少由一個數字、字母或者下劃線組成的字串，
14. 比如'a100'，'0_Z'，'Py3000'等等；
15. [a-zA-Z\_][0-9a-zA-Z\_]*可以匹配由字母或下劃線開頭，後接任意個由一個數字、字母或者下劃線組成的字串，也就是Python合法的變數
16. [a-zA-Z\_][0-9a-zA-Z\_]{0, 19}更精確地限制了變數的長度是1-20個字元（前面1個字元+後面最多19個字元）
17. A|B可以匹配A或B，所以(P|p)ython可以匹配'Python'或者'python'
18. ^表示行的開頭，^\d表示必須以數字開頭
19. $表示行的結束，\d$表示必須以數字結束

正則表示式進行資料清洗：

>>> len(html)
962651
>>> strhtml=re.sub("[\s+\.\!\/_,$%^*(+\"\']+|[+——！，。？?、[email protected]#￥%……&*（）]+|[A-Za-z0-9]+","",html)#去掉中英文符號
>>> len(strhtml)
781150
>>> strhtml[5000:5500]

清洗後結果：

紅樓夢進行中文分詞

>>> # 紅樓夢進行中文分詞
>>> from nltk.tokenize import StanfordSegmenter
>>> segmenter = StanfordSegmenter(
    path_to_jar=r"E:\tools\stanfordNLTK\jar\stanford-segmenter.jar",
    path_to_slf4j=r"E:\tools\stanfordNLTK\jar\slf4j-api.jar",
    path_to_sihan_corpora_dict=r"E:\tools\stanfordNLTK\jar\data/",
    path_to_model=r"E:\tools\stanfordNLTK\jar\data\pku.gz",
    path_to_dict=r"E:\tools\stanfordNLTK\jar\data\dict-chris6.ser.gz"
)
>>> result = segmenter.segment(raw)

查詢分析：查詢“曰”後面的內容

re.findall(r'(曰.{,3})',strhtml)

備註：處理搜尋引擎的結果：基於自己配置的搜尋引擎處理

3 處理RSS訂閱

>>> import feedparser #feedparser需要在python庫中下載
>>> llog=feedparser.parse(url)

4 讀取本地檔案:strip()方法刪除輸入行結尾的換行符

方法一：

>>> f=open(r"E:\dict\q0.txt","r")
>>> for line in f:
	print(line.strip())

方法二：

>>> with open(r"C:\Users\cuitbnc\Desktop\dqdg.txt","r+") as f:
    str=f.read()

方法三：

>>> import nltk
>>> path=nltk.data.find(r'C:\Users\cuitbnc\Desktop\dqdg.txt')
>>> raw=open(path,'rU').read()
>>> len(raw)
673167
>>> 

 PDF或者MSWord以及其他二進位制提取文字，利用第三方函式庫pypdf和pywin32

>>> raw=open(r"E:\dict\q0.txt","r").read()
>>> tokens=nltk.word_tokenize(raw)
>>> words=[w for w in tokens]
>>> vocab=sorted(set(words))
>>> vocab

5 字串：最底層的文字處理

有用的字串方法：

• s.find(t)  字串s中包含t的第一個索引s.rfind(t)  字串s中包含t的最後一個索引
• s.index(t)  與s.find(t)類似
• s.rindex(t)  與s.rfind(t)類似
• s.join(text)
• s.split(t)  字串分割
• s.splitlines()
• s.lower()
• s.upper()
• s.titlecase() s首字母大寫
• s.strip()  返回一個沒有首尾空白字元的s的複製
• s.replace(t,u) 用u替換s中的t

連結串列和字串的差異：字串和連結串列都是一種序列，可以通過索引抽取他們一部分，可以切片，可以合併。但是，連結串列和字串不能連線

6 使用Unicode進行文書處理

解碼：檔案中的文字都有特定的編碼，需要一些機制將文字翻譯成Unicode的過程就是解碼。 編碼:將Uniocde寫入一個檔案或者終端，首先需要將Unicode轉化為合適的編碼，這個過程就是編碼

中文解碼問題

>>> raw=open(r"E:\dict\text.txt","r").read()
Traceback (most recent call last):
  File "<pyshell#18>", line 1, in <module>
    raw=open(r"E:\dict\text.txt","r").read()
UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 16: illegal multibyte sequence
>>> import codecs
>>> f=codecs.open(r"E:\dict\text.txt",'r',encoding="utf-8").read()

 ord()查詢字元的整數序列

>>> ord('a')
97
>>> ord('f')
102

7 使用正則表示式檢測片語搭配

import re 匯入re函式庫

re.search('ed$',w)查詢w字串中是都ed結尾匹配 [w for w in wordlist if re,search('ed$',w)]

萬用字元“.”可以用來匹配任何單個字元。例如：有一個8個字母組成的字謎，j是第三個字母，t的第六個字母，每個空白單元格用句點隔開.(^字串開始，$字串結束)

[w for w in wordlist if re.search('^..j..t..$',w)]

計算文字中詞出現次數 sum(w for w in text if re.search('^e-?mail$',w))

搜尋數字

[w for w in wordlist if re.search('^[0-9]+\.[0-9]+$',w)]

[w for w in wordlist if re.search('^[0-9]{4}$',w)]

python正則表示式基本元字元 

1. .   萬用字元，匹配所有字元
2. ^abc  匹配以abc開始的字串
3. abc$  匹配以abc結尾的字串
4. [abc]  匹配字元集合
5. [A-Z0-9] 匹配字元範圍
6. ed|ing|s 匹配指定的字串，諸如ed或者ing或者s
7. *   前面專案0個或者多個，如a*/[a-z]* (也叫Kleene閉包)
8. +   前面專案1個或者多個，如a+、[a-z]+
9. ?   前面專案0個或者1個，如a？、[a-z]?
10. {n}   重複n次
11. {n,}  至少重複n次
12. {,n}  重複不多於n次
13. {m,n}  至少重複m次不多於n次
14. a(b|c)+  括號表示操作符的範圍
15. 正則表示式符號：
16. \b 詞邊界
17. \d 任何數字等於[0-9]
18. \D 任何非數字等於[^0-9]
19. \s 任何空白字元[\t\n\r\f\v]
20. \S 任何非空白字元[^\t\n\r\f\v]
21. \w 任何字母[A-Za-z0-9]
22. \W 任何非字母[^A-Za-z0-9]
23. \t 製表符
24. \n 換行符

指定條件查詢分析：

>>> f=codecs.open(r"E:\dict\q0.txt",'r').read()
>>> import re
>>> re.findall(r"大秦",f)
['大秦']
>>> re.findall(r"龐涓",f)
['龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓', '龐涓']
>>> len(re.findall(r"龐涓",f))
33
>>> 

【推薦】