最近的原則就是把以前爬蟲爬到一半出現各種bug，導致爬不下去的網站全部清理掉，第三隻豆瓣爬蟲來了，主要爬了豆瓣的熱門影評內容，部分程式碼寫的不是特別的簡潔，現階段主要是為了掌握各種方法，後期再進一步完善，希望有看到的小夥伴能夠幫忙指正。

目標：

爬取豆瓣的熱門影評（https://movie.douban.com/review/best/）主要爬取：影評標題、影片詳情連結、影評人、影片名、評分、影評以及影評時間

遇到的困難：

爬取影評詳情連結時用到的方法，層層獲取到內容，其次是影評的內容要連結到影片詳情的連結，也就是跳轉到另一個頁面去爬取，最重要的一點我還沒有解決，在爬取部分影評的時候，遇到的需要登入才能訪問，需要模擬登陸，這一點還沒攻破，假期結束主要學習動態頁面的爬蟲和模擬登陸，小白成長中，加油！

程式碼：

import urllib
from urllib.request import urlopen
from bs4 import BeautifulSoup
import os
import csv
import re
import time
import urllib.error
#定義豆瓣影評爬蟲類
class DBYP():
    def __init__(self):
        self.baseUrl=baseUrl
        self.pageNum=0
    #得到指定頁面全部內容
    def askUrl(self,url):
        request=urllib.request.Request(url)
        try:
            response=urllib.request.urlopen(request)
            html=response.read().decode('utf-8')
            return html
        except urllib.error.URLError as e:
            if hasattr(e,'reason'):
                print(u'連線影片詳情頁面失敗，原因：',e.reason)
                return  None
    #傳入某一頁索引，獲取頁面程式碼
    def getPage(self,pageNum):
        try:
            url=baseUrl+str(pageNum)
            request=urllib.request.Request(url)
            response=urllib.request.urlopen(request)
            html=response.read().decode('utf-8')
            # print(html)
            return html
        except urllib.error.URLError as e:
            if hasattr(e,'reason'):
                print(u'連線豆瓣影評失敗，原因：',e.reason)
                return  None
    #使用BeautifulSoup方法爬取頁面所要獲取的內容
    def getPageInfo(self,pageNum,html):
        bs=BeautifulSoup(html,'lxml')
        content_field=bs.select('header.main-hd')
        # print(content_field)
        item=[]
        for each in content_field:
            title=each.select('a.title-link')[0]
            href = each.find_all('h3', {'class': "title"})[0].find_all('a')[0]#一層一層的獲取到內容，最後href[href]提取出連結中的內容
            url = href['href']  # 影片詳情連結
            # print(url)
            author = each.select('a > span')[0]
            subject_title = each.select('a.subject-title')[0]
            rate = each.select('span.main-title-hide')[0]
            pattern =self.askUrl(url)  # 獲取影片詳情的html
            html = BeautifulSoup(pattern, 'lxml')  # 解析HTML檔案
            content = html.select('div.review-content')[0]
            print(content.text)
            # desc = re.sub(remove '', str(content))  # 去掉標籤
            date = each.select('span.main-meta')[0]
            time.sleep(2)
            item.append((title.text, url, author.text, subject_title.text, rate.text, content.text, date.text))
        # print(item)
        return item

    #將檔案儲存為csv格式
    def write_Data(self,contents):
        csvFile=open('film_review.csv','a',newline='',encoding='utf-8')
        writer=csv.writer(csvFile)
        writer.writerow(('標題','影評詳情連結','影評人','影片名','評分/5','影評','日期'))
        for item in contents:
            writer.writerow(item)
        csvFile.close()
    #刪除已有檔案
    def deleteOldTxt(self):
        filename='film_review.csv'
        if os.path.exists(filename):
            os.remove(filename)
            print('發現舊名單，已刪除')
    #設定頁數，存取資料
    def start(self):
        print('正在讀取熱門影評：')
        IndexPage=self.getPage(0)
        try:
            for i in range(0,100,20):
                print('正在讀取第'+str(i)+'頁的內容：')
                page=self.getPage(i)
                html=spider.getPage(i)
                contents=self.getPageInfo(page,html)
                print(contents)
                self.write_Data(contents)
                time.sleep(2)
        except IOError as e:
            print('寫入異常，原因：'+ e.message)
        finally:
            print('寫入任務完成')
baseUrl='https://movie.douban.com/review/best/?start='
spider=DBYP()
spider.deleteOldTxt()
spider.start()