很多時候我們要了解一部電視劇或電影的好壞時都會去豆瓣上檢視評分和評論，本文基於豆瓣上對某一部電視劇評論的爬取，然後進行SnowNLP情感分析，最後生成詞雲，給人一個直觀的印象

1. 爬取評論

以前段時間比較火熱的《獵場》為例，因豆瓣網有反爬蟲機制，所以在爬取時要帶登入後的cookie檔案，儲存在cookie.txt檔案裡，具體程式碼及結果如下：

import requests, codecs
from lxml import html
import time
import random

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'}
f_cookies = open('cookie.txt', 'r')
cookies = {}
for line in f_cookies.read().split(';'):
    name, value = line.strip().split('=', 1)
    cookies[name] = value
#print(cookies)

for num in range(0, 500, 20):
    url = 'https://movie.douban.com/subject/26322642/comments?start=' + str(
        num) + '&limit=20&sort=new_score&status=P&percent_type='
    with codecs.open('comment.txt', 'a', encoding='utf-8') as f:
        try:
            r = requests.get(url, headers=header, cookies=cookies)
            result = html.fromstring(r.text)
            comment = result.xpath( " // div[@class ='comment'] / p / text() ")
            for i in comment:
                f.write(i.strip() + '\r\n')
        except Exception as e:
            print(e)
    time.sleep(1 + float(random.randint(1, 100)) / 20)
 

2. 情感分析

SnowNLP是python中用來處理文字內容的，可以用來分詞、標註、文字情感分析等，情感分析是簡單的將文字分為兩類，積極和消極，返回值為情緒的概率，越接近1為積極，接近0為消極。程式碼如下：

import numpy as np
from snownlp import SnowNLP
import matplotlib.pyplot as plt

f = open('comment.txt', 'r', encoding='UTF-8')
list = f.readlines()
sentimentslist = []
for i in list:
    s = SnowNLP(i)
    # print s.sentiments
    sentimentslist.append(s.sentiments)
plt.hist(sentimentslist, bins=np.arange(0, 1, 0.01), facecolor='g')
plt.xlabel('Sentiments Probability')
plt.ylabel('Quantity')
plt.title('Analysis of Sentiments')
plt.show()
 

3. 生成詞雲

詞雲的生成主要用到了結巴分詞和wordcloud，前者是針對中文進行分詞的處理庫，後者可以根據分詞處理結果定製化生成詞雲，詳細程式碼如下：

#coding=utf-8
import matplotlib.pyplot as plt
from scipy.misc import imread
from wordcloud import WordCloud
import jieba, codecs
from collections import Counter

text = codecs.open('comment.txt', 'r', encoding='utf-8').read()
text_jieba = list(jieba.cut(text))
c = Counter(text_jieba)  # 計數
word = c.most_common(800)  # 取前500

bg_pic = imread('src.jpg')
wc = WordCloud(
    font_path='C:\Windows\Fonts\SIMYOU.TTF',  # 指定中文字型
    background_color='white',  # 設定背景顏色
    max_words=2000,  # 設定最大顯示的字數
    mask=bg_pic,  # 設定背景圖片
    max_font_size=200,  # 設定字型最大值
    random_state=20  # 設定多少種隨機狀態，即多少種配色
)
wc.generate_from_frequencies(dict(word))  # 生成詞雲


wc.to_file('result.jpg')

# show
plt.imshow(wc)
plt.axis("off")
plt.figure()
plt.imshow(bg_pic, cmap=plt.cm.gray)
plt.axis("off")
plt.show()