一. Selenium爬取百度百科摘要

        簡單給出Selenium爬取百度百科5A級景區的程式碼：

# coding=utf-8  
""" 
Created on 2015-12-10 @author: Eastmount  
"""  
  
import time          
import re          
import os  
import sys
import codecs
import shutil
from selenium import webdriver      
from selenium.webdriver.common.keys import Keys      
import selenium.webdriver.support.ui as ui      
from selenium.webdriver.common.action_chains import ActionChains  
  
#Open PhantomJS  
driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")  
#driver = webdriver.Firefox()  
wait = ui.WebDriverWait(driver,10)

#Get the Content of 5A tourist spots  
def getInfobox(entityName, fileName):  
    try:  
        #create paths and txt files
        print u'檔名稱: ', fileName
        info = codecs.open(fileName, 'w', 'utf-8')  

        #locate input  notice: 1.visit url by unicode 2.write files
        #Error: Message: Element not found in the cache -
        #       Perhaps the page has changed since it was looked up
        #解決方法: 使用Selenium和Phantomjs
        print u'實體名稱: ', entityName.rstrip('\n') 
        driver.get("http://baike.baidu.com/")  
        elem_inp = driver.find_element_by_xpath("//form[@id='searchForm']/input")  
        elem_inp.send_keys(entityName)  
        elem_inp.send_keys(Keys.RETURN)  
        info.write(entityName.rstrip('\n')+'\r\n')  #codecs不支援'\n'換行  
  
        #load content 摘要
        elem_value = driver.find_elements_by_xpath("//div[@class='lemma-summary']/div")
        for value in elem_value:
            print value.text
            info.writelines(value.text + '\r\n')

        #爬取文字資訊
        #爬取所有段落<div class='para'>的內容 class='para-title'為標題 [省略]
        time.sleep(2)  
          
    except Exception,e:    #'utf8' codec can't decode byte  
        print "Error: ",e  
    finally:  
        print '\n'  
        info.close() 
  
#Main function  
def main():
    #By function get information
    path = "BaiduSpider\\"
    if os.path.isdir(path):
        shutil.rmtree(path, True)
    os.makedirs(path)
    source = open("Tourist_spots_5A_BD.txt", 'r')
    num = 1
    for entityName in source:  
        entityName = unicode(entityName, "utf-8")  
        if u'故宮' in entityName:   #else add a '?'  
            entityName = u'北京故宮'
        name = "%04d" % num
        fileName = path + str(name) + ".txt"
        getInfobox(entityName, fileName)
        num = num + 1
    print 'End Read Files!'  
    source.close()  
    driver.close()
    
if __name__ == '__main__':
    main()  
 

二. Jieba中文分詞

        Python中分分詞工具很多，包括盤古分詞、Yaha分詞、Jieba分詞等。
        中文分詞庫：http://www.oschina.net/project/tag/264/segment
        其中它們的基本用法都相差不大，但是Yaha分詞不能處理如“黃琉璃瓦頂”或“圜丘壇”等詞，所以使用了結巴分詞。

        1.安裝及入門介紹
        參考地址：http://www.oschina.net/p/jieba
        下載地址：https://pypi.python.org/pypi/jieba/

#encoding=utf-8
import jieba

#全模式
text = "我來到北京清華大學"
seg_list = jieba.cut(text, cut_all=True)
print u"[全模式]: ", "/ ".join(seg_list) 

#精確模式
seg_list = jieba.cut(text, cut_all=False)
print u"[精確模式]: ", "/ ".join(seg_list)

#預設是精確模式
seg_list = jieba.cut(text)
print u"[預設模式]: ", "/ ".join(seg_list) 

#新詞識別 “杭研”並沒有在詞典中,但是也被Viterbi演算法識別出來了
seg_list = jieba.cut("他來到了網易杭研大廈") 
print u"[新詞識別]: ", "/ ".join(seg_list)

#搜尋引擎模式
seg_list = jieba.cut_for_search(text) 
print u"[搜尋引擎模式]: ", "/ ".join(seg_list)

#encoding=utf-8
import jieba

#匯入自定義詞典
jieba.load_userdict("dict.txt")

#全模式
text = "故宮的著名景點包括乾清宮、太和殿和黃琉璃瓦等"
seg_list = jieba.cut(text, cut_all=True)
print u"[全模式]: ", "/ ".join(seg_list) 

#精確模式
seg_list = jieba.cut(text, cut_all=False)
print u"[精確模式]: ", "/ ".join(seg_list)

#搜尋引擎模式
seg_list = jieba.cut_for_search(text) 
print u"[搜尋引擎模式]: ", "/ ".join(seg_list)

#encoding=utf-8
import jieba
import jieba.analyse

#匯入自定義詞典
jieba.load_userdict("dict.txt")

#精確模式
text = "故宮的著名景點包括乾清宮、太和殿和午門等。其中乾清宮非常精美，午門是紫禁城的正門，午門居中向陽。"
seg_list = jieba.cut(text, cut_all=False)
print u"分詞結果:"
print "/".join(seg_list)

#獲取關鍵詞
tags = jieba.analyse.extract_tags(text, topK=3)
print u"關鍵詞:"
print " ".join(tags)

>>> 
分詞結果:
故宮/的/著名景點/包括/乾清宮/、/太和殿/和/午門/等/。/其中/乾清宮/非常/精美/，/午門/是/紫禁城/的/正門/，/午門/居中/向陽/。
關鍵詞:
午門 乾清宮 著名景點
>>> 

#encoding=utf-8
import sys
import re
import codecs
import os
import shutil
import jieba
import jieba.analyse

#匯入自定義詞典
jieba.load_userdict("dict_baidu.txt")

#Read file and cut
def read_file_cut():
    #create path
    path = "BaiduSpider\\"
    respath = "BaiduSpider_Result\\"
    if os.path.isdir(respath):
        shutil.rmtree(respath, True)
    os.makedirs(respath)

    num = 1
    while num<=204:
        name = "%04d" % num 
        fileName = path + str(name) + ".txt"
        resName = respath + str(name) + ".txt"
        source = open(fileName, 'r')
        if os.path.exists(resName):
            os.remove(resName)
        result = codecs.open(resName, 'w', 'utf-8')
        line = source.readline()
        line = line.rstrip('\n')
        
        while line!="":
            line = unicode(line, "utf-8")
            seglist = jieba.cut(line,cut_all=False)  #精確模式
            output = ' '.join(list(seglist))         #空格拼接
            print output
            result.write(output + '\r\n')
            line = source.readline()
        else:
            print 'End file: ' + str(num)
            source.close()
            result.close()
        num = num + 1
    else:
        print 'End All'

#Run function
if __name__ == '__main__':
    read_file_cut()

#encoding=utf-8
import jieba

#去除停用詞
stopwords = {}.fromkeys(['的', '包括', '等', '是'])
text = "故宮的著名景點包括乾清宮、太和殿和午門等。其中乾清宮非常精美，午門是紫禁城的正門。"
segs = jieba.cut(text, cut_all=False)
final = ''
for seg in segs:
    seg = seg.encode('utf-8')
    if seg not in stopwords:
            final += seg
print final
#輸出:故宮著名景點乾清宮、太和殿和午門。其中乾清宮非常精美，午門紫禁城正門。

seg_list = jieba.cut(final, cut_all=False)
print "/ ".join(seg_list)
#輸出:故宮/ 著名景點/ 乾清宮/ 、/ 太和殿/ 和/ 午門/ 。/ 其中/ 乾清宮/ 非常/ 精美/ ，/ 午門/ 紫禁城/ 正門/ 。

三. 基於VSM的文字聚類演算法

        這部分主要參考2008年上海交通大學姚清壇等《基於向量空間模型的文字聚類演算法》的論文，因為我的實體對齊使用InfoBox存在很多問題，發現對齊中會用到文字內容及聚類演算法，所以簡單講述下文章一些知識。