前言

本爬蟲大致流程為：
（1）分析網頁——分析網站結構
（2）傳送請求——通過requests傳送請求
（3）響應請求——得到請求響應的頁面
（4）解析響應——分析頁面，得到想要的資料
（5）儲存文字——以txt格式儲存

使用環境

• anaconda3
• python3.6
• jupyter notebook

用到的庫

• requests
• lxml
• urllib
• re

庫的安裝很簡單，自行百度

中文簡體和繁體轉換所需Python庫，用於將評論中的繁體字轉為簡體字

下載zh_wiki.py 和 langconv

下載後，將這兩個py檔案放在程式碼同一個目錄下，即可

（1）分析網頁

下面我們點選下一頁，觀察網址的變化

我們發現，只有start變數在變化，而且每次加25，正好是每頁電影的個數
要想獲得每部電影的評論，我們首先要進入這部電影評論的地方

下面我們就要看每部電影的評論

檢視全部評論

同樣，一開始第一頁的引數不全，我們先點評論第2頁，再點第1頁，如上圖：

在top250頁面下開啟開發者工具（F12）

圖中紅框內，便是評論連結的前部分，那我們就可通過top頁面，獲取每一箇中每部電影的評論連結
通過一系列連結的拼接就可以獲得每部電影的評論地址，然後再通過評論連結獲取評論頁面，再獲取評論文字，這樣就可以了

流程如下：

（2）傳送請求，響應請求，解析網頁

需要匯入的庫：

import
 
 requests  # 請求庫
from urllib.parse import urlencode  # 解析連結
from lxml import etree  # 解析頁面

import langconv
import re   # 正則表示式，用去匹配去除評論中的符合

• 獲取Top250頁面

# 獲取電影排行頁面
def get_top_page(start):
    params = {
        'start': start,
        'filter': '',
    }
    url = 'https://movie.douban.com/top250?' + urlencode(
 
params)
    print(url)
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
        }
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('get_top_page() Error')
        return None

# 測試
top_page = get_top_page(0)  # 獲取第1頁的頁面html
print(top_page)

• 獲取每頁電影連結
  

# 獲取每頁每部電影的評論連結前部分
def get_comment_link(top_page):
    html = etree.HTML(top_page)
    result = html.xpath('//div[@class="hd"]//a/@href')  # 分析上面得到的頁面獲得
    return result

# 測試
comment_link = get_comment_link(top_page)
print(comment_link)

這樣我們就獲得了第1頁裡面每部電影的評論連結的前部分

• 獲取評論頁面

# 根據評論連結，獲取評論頁面
def get_comment_page(comment_link,start):
    params = {
        'start': start,
        'limit': '20',
        'sort':'new_score',
        'status':'P'
    }
    url = comment_link +'comments?'+ urlencode(params)
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
        }
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.text
        return 'Error'
    except RequestException:
        print('get_comment_page() Error')
        return None

• 根據評論頁面獲取評論

# 根據評論頁面獲取評論
def get_comment(comment_page):
    html = etree.HTML(comment_page)
    result = html.xpath('//div[@class="mod-bd"]//div/div[@class="comment"]/p/span/text()') # 類似前面的方法，找節點
    return result

（3）儲存資料

• 繁體字轉為簡體字

import langconv
def Traditional2Simplified(sentence):  # 將sentence中的繁體字轉為簡體字
    sentence = langconv.Converter('zh-hans').convert(sentence)
    return sentence

• 評論資料清理

import re
# 清理一下評論資料
def clear(string):
    string = string.strip()  # 去掉空格等空白符號
    string = re.sub("[A-Za-z0-9]", "", string)  # 去掉英文字母 數字
    string = re.sub(r"[！!？｡。，&;＂★＃＄％＆＇（）＊＋－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃「」『』【】"
                    r"〔〕〖〗〘〙#〚〛〜〝〞/?=~〟,〰–—‘’‛“”„‟…‧﹏.]", " ", string)  # 去掉中文符號
    string = re.sub(r"[!\'\"#。$%&()*+,-.←→/:~;<=>[email protected][\\]^_`_{|}~", " ", string)  # 去掉英文符號
    return Traditional2Simplified(string).lower()  # 所有的英文都換成小寫

• 存為txt檔案

# 儲存評論
def save_to_txt(results):
    for result in results:
        result = clear(result)
        # print(result)
        with open('comment1.txt','a',encoding='utf-8') as file:
            file.write(result)
            file.write('\n'+'='*50+'\n')

完整程式碼

import requests  # 請求庫
from urllib.parse import urlencode  # 解析連結
from lxml import etree  # 解析頁面

import langconv
import re   # 正則表示式，用去匹配去除評論中的符合

# 獲取電影排行頁面
def get_top_page(start):
    params = {
        'start': start,
        'filter': '',
    }
    url = 'https://movie.douban.com/top250?' + urlencode(params)
    print(url)
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
        }
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('get_top_page() Error')
        return None

# 獲取每頁每部電影的評論連結
def get_comment_link(top_page):
    html = etree.HTML(top_page)
    result = html.xpath('//div[@class="hd"]//a/@href') # 通過..獲取父節點
    return result

# 根據評論連結，獲取評論頁面
def get_comment_page(comment_link,start):
    params = {
        'start': start,
        'limit': '20',
        'sort':'new_score',
        'status':'P'
    }
    url = comment_link +'comments?'+ urlencode(params)
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
        }
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.text
        return 'Error'
    except RequestException:
        print('get_comment_page() Error')
        return None

# 根據評論頁面獲取評論
def get_comment(comment_page):
    html = etree.HTML(comment_page)
    result = html.xpath('//div[@class="mod-bd"]//div/div[@class="comment"]/p/span/text()') # 通過..獲取父節點
    return result

 # 將sentence中的繁體字轉為簡體字
def Traditional2Simplified(sentence): 
    sentence = langconv.Converter('zh-hans').convert(sentence)
    return sentence

# 清理一下評論資料
def clear(string):
    string = string.strip()  # 去掉空格等空白符號
    string = re.sub("[A-Za-z0-9]", "", string)  # 去掉英文字母 數字
    string = re.sub(r"[！!？｡。，&;＂★＃＄％＆＇（）＊＋－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃「」『』【】"
                    r"〔〕〖〗〘〙#〚〛〜〝〞/?=~〟,〰–—‘’‛“”„‟…‧﹏.]", " ", string)  # 去掉中文符號
    string = re.sub(r"[!\'\"#。$%&()*+,-.←→/:~;<=>[email protected][\\]^_`_{|}~", " ", string)  # 去掉英文符號
    return Traditional2Simplified(string).lower()  # 所有的英文都換成小寫

# 儲存評論
def save_to_txt(results):
    for result in results:
        result = clear(result)
        # print(result)
        with open('comment.txt','a',encoding='utf-8') as file:
            file.write(result)
            file.write('\n'+'='*50+'\n')

# 執行
print("爬取開始...")
for start in range(0,250,25):  # 可以爬取第一頁，減少爬蟲時間
    print("正在爬取第"+str(int(start/25+1))+"頁！！！")
    #print(start)
    top_page = get_top_page(start)
    comment_link = get_comment_link(top_page)
    #print(comment_link)
    for i in range(25):
        print("正在爬取第"+str(i)+"個電影！！！")
        #print(comment_link[i])
        for j in range(0,100,20):
            comment_page = get_comment_page(comment_link[i],j)
            results = get_comment(comment_page)
            save_to_txt(results)
        print("爬取第"+str(i)+"個電影結束")

爬取結果

我沒爬完，可以通過修改引數，只爬取第一頁每部電影的前100條評論

總結

$\quad\quad$在做這個爬蟲前，我看了一些相關的書，瞭解大致流程，和一些庫的使用，很明顯程式碼不是最簡化的，但是對於一個初學者來說挺有成就感，希望再接再厲，繼續加油！！！

• 在爬取的過程中，可能出現IP被封鎖，網站可能設定了IP訪問次數限制——解決方法：可以使用代理
• 只爬取了評論，可以將電影名稱和評論對應起來，另外，還可以將好評/壞評分別標記每條評論，以便以後對文字資料進行一些情感分析啥的，這樣就不用自己條件標籤了
• 還可以以其他方式儲存資料，如資料庫