Python模組---Wordcloud生成詞雲圖
wordcloud是Python擴充套件庫中一種將詞語用圖片表達出來的一種形式,通過詞雲生成的圖片,我們可以更加直觀的看出某篇文章的故事梗概。
首先貼出一張詞雲圖(以哈利波特小說為例):
在生成詞雲圖之前,首先要做一些準備工作
1.安裝結巴分詞庫
pip install jieba
Python中的分詞模組有很多,他們的功能也都是大同小異,我們安裝的結巴分詞 是當前使用的最多的型別。
下面我來簡單介紹一下結巴分詞的用法
結巴分詞的分詞模式分為三種:
(1)全模式:把句子中所有的可以成詞的詞語都掃描出來, 速度快,但是不能解決歧義問題
(2)精確模式:將句子最精確地切開,適合文字分析
(3)搜尋引擎模式:在精確模式的基礎上,對長詞再次切分,提高召回率,適合用於搜尋引擎分詞
下面用一個簡單的例子來看一下三種模式的分詞區別:
1 import jieba 2 3 # 全模式:把句子中所有的可以成詞的詞語都掃描出來, 速度快,但是不能解決歧義問題 4 text = "哈利波特是一常優秀的文學作品" 5 seg_list = jieba.cut(text, cut_all=True) 6 print(u"[全模式]: ", "/ ".join(seg_list)) 7 8 # 精確模式:將句子最精確地切開,適合文字分析 9 seg_list = jieba.cut(text, cut_all=False) 10 print(u"[精確模式]: ", "/ ".join(seg_list)) 11 12 # 預設是精確模式 13 seg_list = jieba.cut(text) 14 print(u"[預設模式]: ", "/ ".join(seg_list)) 15 16 # 搜尋引擎模式:在精確模式的基礎上,對長詞再次切分,提高召回率,適合用於搜尋引擎分詞 17 seg_list = jieba.cut_for_search(text) 18 print(u"[搜尋引擎模式]: ", "/ ".join(seg_list))
下面是對這句話的分詞方式:
通過這三種分詞模式可以看出,這些分詞模式並沒有很好的劃分出“哈利波特”這個專有名詞,這是因為在結巴分詞的字典中並沒有記錄這個名詞,所以需要我們手動新增自定義字典
新增自定義字典:找一個方便引用的位置 (下圖的路徑是我安裝的位置),新建文字文件(字尾名為.txt),將想新增的詞輸入進去(注意輸入格式),儲存並退出
在上面的程式碼中加入自定義字典的路徑,再點選執行
jieba.load_userdict("/home/jmhao/anaconda3/lib/python3.7/site-packages/jieba/mydict.txt")
分詞結果,可以看出“哈利波特”這個詞已經被識別出來了
結巴分詞還有另一個禁用詞的輸出結果
1 stopwords = {}.fromkeys(['優秀', '文學作品']) 2 3 #新增禁用詞之後 4 seg_list = jieba.cut(text) 5 final = '' 6 for seg in seg_list: 7 if seg not in stopwords: 8 final += seg 9 seg_list_new = jieba.cut(final) 10 print(u"[切割之後]: ", "/ ".join(seg_list_new))
可以看到輸出結果中並沒有“優秀”和“文學作品”兩個詞
結巴分詞還有很多比較複雜的操作,具體的可以去官網檢視,我就不再過多的贅述了
下面我們正式開始詞雲的製作
首先下載模組,這裡我所使用的環境是Anaconda,由於Anaconda中包含很多常用的擴充套件包,所以這裡只需要下載wordcloud。若使用的環境不是Anaconda,則另需安裝numpy和PIL模組
pip install wordcloud
然後我們需要找一篇文章並使用結巴分詞將文章分成詞語的形式
1 # 分詞模組 2 def cut(text): 3 # 選擇分詞模式 4 word_list = jieba.cut(text,cut_all= True) 5 # 分詞後在單獨個體之間加上空格 6 result = " ".join(word_list) 7 # 返回分詞結果 8 return result
這裡我在當前資料夾下建立了一個文字文件“xiaoshuo.txt”,並複製了一章的小說作為詞雲的主體文字
使用程式碼控制,開啟並讀取小說的內容
1 #匯入文字檔案,進行分詞,製作詞雲 2 with open("xiaoshuo.txt") as fp: 3 text = fp.read() 4 # 將讀取的中文文件進行分詞 5 text = cut(text)
在網上找到一張白色背景的圖片下載到當前資料夾,作為詞雲的背景圖(若不指定圖片,則預設生成矩形詞雲)
#設定詞雲形狀,若設定了詞雲的形狀,生成的詞雲與圖片保持一致,後面設定的寬度和高度將預設無效 mask = np.array(image.open("monkey.jpeg"))
接下來可以根據喜好來定義詞雲的顏色、輪廓等引數 下面為常用的引數設定方法
font_path : "字型路徑" | 詞雲的字型樣式,若要輸出中文,則跟隨中文的字型 |
width = n | 畫布寬度,預設為400畫素 |
height = n | 畫布高度,預設為400畫素 |
scale = n | 按比例放大或縮小畫布 |
min_font_size = n | 設定最小的字型大小 |
max_font_size = n | 設定最大的字型大小 |
stopwords = 'words' | 設定要遮蔽的詞語 |
background_color = ''color | 設定背景板顏色 |
relative_scaling = n | 設定字型大小與詞頻的關聯性 |
contour_width = n | 設定輪廓寬度 |
contour_color = 'color' | 設定輪廓顏色 |
完整程式碼
1 #匯入詞雲庫 2 from wordcloud import WordCloud 3 #匯入影象處理庫 4 import PIL.Image as image 5 #匯入資料處理庫 6 import numpy as np 7 #匯入結巴分詞庫 8 import jieba 9 10 # 分詞模組 11 def cut(text): 12 # 選擇分詞模式 13 word_list = jieba.cut(text,cut_all= True) 14 # 分詞後在單獨個體之間加上空格 15 result = " ".join(word_list) 16 return result 17 18 #匯入文字檔案,進行分詞,製作詞雲 19 with open("xiaoshuo.txt") as fp: 20 text = fp.read() 21 # 將讀取的中文文件進行分詞 22 text = cut(text) 23 #設定詞雲形狀 24 mask = np.array(image.open("monkey.jpeg")) 25 #自定義詞雲 26 wordcloud = WordCloud( 27 # 遮罩層,除白色背景外,其餘圖層全部繪製(之前設定的寬高無效) 28 mask=mask, 29 #預設黑色背景,更改為白色 30 background_color='#FFFFFF', 31 #按照比例擴大或縮小畫布 32 scale=1, 33 # 若想生成中文字型,需新增中文字型路徑 34 font_path="/usr/share/fonts/bb5828/逐浪雅宋體.otf" 35 ).generate(text) 36 #返回物件 37 image_produce = wordcloud.to_image() 38 #儲存圖片 39 wordcloud.to_file("new_wordcloud.jpg") 40 #顯示影象 41 image_produce.show()
注:若想要生成圖片樣式的詞雲圖,找到的圖片背景必須為白色,或者使用Photoshop摳圖替換成白色背景,否則生成的詞云為矩形
我的詞雲原圖:
生成的詞雲圖: