2. 程式人生 > >Python3 大型網路爬蟲實戰 003 — scrapy 大型靜態圖片網站爬蟲專案實戰 — 實戰：爬取 169美女圖片網 高清圖片

Python3 大型網路爬蟲實戰 003 — scrapy 大型靜態圖片網站爬蟲專案實戰 — 實戰：爬取 169美女圖片網 高清圖片

阿新 • • 發佈：2019-01-24

開發環境

  • Python第三方庫：lxml、Twisted、pywin32、scrapy
  • Python 版本：python-3.5.0-amd64
  • PyCharm軟體版本：pycharm-professional-2016.1.4
  • 電腦系統：Windows 10 64位

如果你還沒有搭建好開發環境，請到這篇部落格。

  • 本篇部落格原始碼GitHub裡：這裡。

這一篇部落格的目的是爬取 169美女圖片網 裡面的所有的“西洋美女”的高清圖片。

Alt text

爬蟲程式設計思路：

2 . 接著在得到的URL連結網頁裡面得到裡面所有高清圖片的下載地址，進行下載。

3 . 得到所有 “西洋美女” 網頁的頁數。

Alt text

觀察網頁 和 網頁原始碼

Alt text

3 . 觀察這個頁面，在頁面最下面，顯示了，當前一共311頁。

Alt text

5 . 現在，我們隨便點選一個圖片，進去看看這個美女的高清圖片集。

裡面都是高清的圖片，並且有很多，並且，不止一頁。就我隨機點選的這個美女的連結就有11頁，並且一頁裡面有5張左右的高清圖片。

Alt text

6 . 並且它的每頁的網址也是有規律的。

好了，現在這個目標網頁，我們已經分析完了。現在就可以程式設計。

寫程式

原始碼GitHub裡：這裡。

接下來我們為大家講解大型圖片爬蟲專案編寫實戰。

Step 1 .

建立一個Scrapy爬蟲專案：

scrapy startproject secondDemo

Alt text

建立一個scrapy爬蟲檔案，我們就在這個檔案裡面寫爬取目標網站裡面圖片的爬蟲程式。

cd secondDemo
scrapy genspider -t basic pic_169bb 169bb.com

Alt text

用 PyCharm 軟體開啟剛剛建立的 secondDemo 工程。

Alt text

Step 2 . 在 items.py 檔案裡面的SeconddemoItem()函式裡面建立一個物件，這個物件在其他的檔案裡面會使用到。

Alt text

Step 3 . 現在開始爬蟲的編寫。進入pic_169bb.py檔案。

爬蟲（pic_169bb.py

檔案）會自動的先爬首頁（http://169bb.com/），爬完首頁之後，會自動的進入parse()回撥函式。

這個回撥函式中，我們需要寫些東西。

先獲取所有欄目的名字和地址。

Alt text

檢視原始碼：

Alt text

在pic_169bb.py 檔案中的 parse()回撥函式中新增下面的程式碼：

        urldata = response.xpath("/html/body/div[@class='header']/div[@class='hd_nav']/div[@class='w1000']//a/@href").extract()
        print(urldata)

Alt text

現在執行一下，輸出：

Alt text

繼續進行下一次的爬取：

先匯入一個模組

from scrapy.http import Request

爬取子欄目的第一頁，即西洋美女網址的第一頁。

        xiyangurldata = urldata[4]  # 獲取西洋美女首頁網址
        print(xiyangurldata)
        yield Request(url=xiyangurldata, callback=self.next)

    def next(self, response):
        pass

Alt text

    def next(self, response):
        page_title_list = response.xpath("/html/body//div[@class='w1000 box03']/ul[@class='product01']//li/a/@alt").extract()
        print(page_title_list)
        page_url_list = response.xpath("/html/body//div[@class='w1000 box03']/ul[@class='product01']//li/a/@href").extract()
        print(page_url_list)
        pass

Alt text

執行輸出一下：

Alt text

Alt text

        page_num = response.xpath("//span[@class='pageinfo']//strong/text()").extract()[0] # 得到西洋美女總頁數
        print(page_num)
        print(response.url)
        for i in range(1, int(page_num)+1):
            page_url = response.url + 'list_4_'+ str(i) + '.html' # 得到西洋美女每一個頁面的網址
            print(page_url)
        pass

Alt text

執行輸出一下：

Alt text

Alt text

繼續下一次：

        for i in range(1, int(page_num)+1):
            page_url = response.url + 'list_4_'+ str(i) + '.html' # 得到西洋美女每一個頁面的網址
            print(page_url)
            yield Request(url=page_url, callback=self.next2)
        pass

    def next2(self, response):
        pass

Alt text

現在獲取每一個美女的網頁網址：

    def next2(self, response):
        page_title_list = response.xpath("/html/body//div[@class='w1000 box03']/ul[@class='product01']//li/a/@alt").extract()
        # print(page_title_list)
        page_url_list = response.xpath("/html/body//div[@class='w1000 box03']/ul[@class='product01']//li/a/@href").extract()
        # print(page_url_list)

        for i in range(0, len(page_url_list)):
            gril_page_url = page_url_list[i]
            print(gril_page_url)
            yield Request(url=gril_page_url, callback=self.next3)
        pass

    def next3(self, response):
        pass

Alt text

執行程式看看：

Alt text

next3() 這個回撥函式的功能就是得到一個美女網頁裡面的所有的頁面的網址。

有的美女的網頁裡面只有一個頁面，有的美女的網頁裡面有多個頁面：

Alt text

Alt text

可以統一解決。

測試：

Alt text

Alt text

Alt text

輸出：

Alt text

Alt text

Alt text

同樣的回撥函式

輸出：

Alt text

所以，我們可以這樣寫程式：

當得到的頁碼為-3，說明這個美女的網頁是單頁的；如果得到的頁碼數不等於-3，說明這個美女的網頁是多也的。

測試程式：

對於多頁面的美女網頁網址

Alt text

Alt text

執行輸出：

D:\WorkSpace\python_ws\python-large-web-crawler\secondDemo>scrapy crawl pic_169bb --nolog
10
http://www.169bb.com/xiyangmeinv/2016/0717/36463.html
http://www.169bb.com/xiyangmeinv/2016/0717/36463_5.html
http://www.169bb.com/xiyangmeinv/2016/0717/36463_10.html
http://www.169bb.com/xiyangmeinv/2016/0717/36463_9.html
http://www.169bb.com/xiyangmeinv/2016/0717/36463_6.html
http://www.169bb.com/xiyangmeinv/2016/0717/36463_8.html
http://www.169bb.com/xiyangmeinv/2016/0717/36463_7.html
http://www.169bb.com/xiyangmeinv/2016/0717/36463_3.html
http://www.169bb.com/xiyangmeinv/2016/0717/36463_4.html
http://www.169bb.com/xiyangmeinv/2016/0717/36463_2.html

D:\WorkSpace\python_ws\python-large-web-crawler\secondDemo>

對於單頁面的美女網頁：

    def parse(self, response):
        ...
        yield Request(url='http://www.169bb.com/xiyangmeinv/2016/0103/2268.html', callback=self.demo)

回撥函輸一樣。

執行輸出：

D:\WorkSpace\python_ws\python-large-web-crawler\secondDemo>scrapy crawl pic_169bb --nolog
-3
http://www.169bb.com/xiyangmeinv/2016/0103/2268.html

D:\WorkSpace\python_ws\python-large-web-crawler\secondDemo>

成功。

所以現在的爬蟲程式碼應該是這樣的：

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request

class Pic169bbSpider(scrapy.Spider):
    name = "pic_169bb"
    allowed_domains = ["169bb.com"]
    start_urls = ['http://169bb.com/']

    def parse(self, response):
        title_list = response.xpath("/html/body/div[@class='header']/div[@class='hd_nav']/div[@class='w1000']//a/text()").extract()
        # print(title_list)
        urldata = response.xpath("/html/body/div[@class='header']/div[@class='hd_nav']/div[@class='w1000']//a/@href").extract()
        #print(urldata)
        xiyang_title = title_list[4] # 獲取西洋美女標籤的文字內容
        xiyang_urldata = urldata[4]  # 獲取西洋美女首頁網址
        # print(xiyang_title, xiyang_urldata)
        yield Request(url=xiyang_urldata, callback=self.next)
        # yield Request(url='http://www.169bb.com/xiyangmeinv/2016/0717/36463.html', callback=self.demo)
        # yield Request(url='http://www.169bb.com/xiyangmeinv/2016/0103/2268.html', callback=self.demo)

    def next(self, response):
        page_num_str = response.xpath("//span[@class='pageinfo']//strong/text()").extract()[0] # 得到西洋美女總頁數
        # print(page_num_str)
        # print(response.url)
        for i in range(1, int(page_num_str)+1):
            page_url = response.url + 'list_4_'+ str(i) + '.html' # 得到西洋美女每一個頁面的網址
            # print(page_url)
            yield Request(url=page_url, callback=self.next2)
        pass

    def next2(self, response):
        page_title_list = response.xpath("/html/body//div[@class='w1000 box03']/ul[@class='product01']//li/a/@alt").extract()
        # print(page_title_list)
        page_url_list = response.xpath("/html/body//div[@class='w1000 box03']/ul[@class='product01']//li/a/@href").extract()
        # print(page_url_list)

        for i in range(0, len(page_url_list)):
            gril_page_url = page_url_list[i] # 得到西洋美女頁面裡面每一個美女的網頁網址
            print(gril_page_url)
            yield Request(url=gril_page_url, callback=self.next3)
        pass

    def next3(self, response):
        rela_pages_list = response.xpath("//div[@class='dede_pages']/ul//li/a/text()").extract()
        pages_num = len(rela_pages_list) - 3
        # print(pages_num)
        self.getPic(response)
        if pages_num == -3:
            # pages_num = 1
            return
        for i in range(2, pages_num+1):
            girl_page_url = response.url.replace('.html', '_') + str(i) + '.html'
            # print(girl_page_url)
            yield Request(url=girl_page_url, callback=self.next4)
        pass

    # def demo(self, response):
    # #     rela_pages_list = response.xpath("//div[@class='dede_pages']/ul//li/a/text()").extract()
    # #     pages_num = len(rela_pages_list)-3
    # #     print(pages_num)
    # #     pass
    #     rela_pages_list = response.xpath("//div[@class='dede_pages']/ul//li/a/text()").extract()
    #     pages_num = len(rela_pages_list) - 3
    #     # print(pages_num)
    #     self.getPic(response)
    #     if pages_num == -3:
    #         # pages_num = 1
    #         return
    #     for i in range(2, pages_num+1):
    #         girl_page_url = response.url.replace('.html', '_') + str(i) + '.html'
    #         # print(girl_page_url)
    #         yield Request(url=girl_page_url, callback=self.next4)
    #     pass

    def next4(self, response):
        self.getPic(response)
        pass

    def getPic(self, response):
        print(response.url)
        pass

現在，我們需要在getPic() 函式中獲取每一個美女網頁的每一個頁面裡面的所有高清圖片。

Alt text

    def getPic(self, response):
        # print(response.url)
        item = SeconddemoItem()
        item['url'] = response.xpath("//div[@class='big-pic']/div[@class='big_img']//p/img/@src").extract()
        print(item['url'])
        pass

測試執行：

測試多頁的美女網頁：

先將parse()函式的最後一行改為：yield Request(url='http://www.169bb.com/xiyangmeinv/2016/0717/36463.html', callback=self.demo)

Alt text

測試單頁的美女網頁：

將parse()函式的最後一行改為：yield Request(url='http://www.169bb.com/xiyangmeinv/2016/0103/2268.html', callback=self.demo)

Alt text

成功。

下載高清圖片

OK，現在我們就已經得到了所有西洋美女的所有高清圖片的下載地址，我們在piplines.py 檔案中使用它們。

刪除了next4()回撥函式。在demo()回撥函式裡面呼叫的都是getPic()回撥函式。

    def demo(self, response):
    #     rela_pages_list = response.xpath("//div[@class='dede_pages']/ul//li/a/text()").extract()
    #     pages_num = len(rela_pages_list)-3
    #     print(pages_num)
    #     pass
        rela_pages_list = response.xpath("//div[@class='dede_pages']/ul//li/a/text()").extract()
        pages_num = len(rela_pages_list) - 3
        # print(pages_num)
        self.getPic(response)
        if pages_num == -3:
            # pages_num = 1
            return
        for i in range(2, pages_num+1):
            girl_page_url = response.url.replace('.html', '_') + str(i) + '.html'
            # print(girl_page_url)
            yield Request(url=girl_page_url, callback=self.getPic)
        pass

    # error : yield 經過了一箇中間函式，執行就有問題。我現在還不知道為什麼
    # def next4(self, response):
    #     self.getPic(response)
    #     pass

並將getPic()函式裡面的item寫到生成器裡面：

    def getPic(self, response):
        # print(response.url)
        item = SeconddemoItem()
        item['url'] = response.xpath("//div[@class='big-pic']/div[@class='big_img']//p/img/@src").extract()
        # print(item['url'])
        # pass
        yield item

測試：

測試單頁的美女網頁：

將parse()函式的最後一行改為：yield Request(url='http://www.169bb.com/xiyangmeinv/2016/0103/2268.html', callback=self.getPic)

成功。

測試多頁的美女網頁：

先將parse()函式的最後一行改為：yield Request(url='http://www.169bb.com/xiyangmeinv/2016/0717/36463.html', callback=self.demo)

Alt text

也算算成功，因為有重複的檔名，所以自動替換，所以這裡需要做修改。

我們可以使用美女圖片網址裡面的數字作為圖片檔名的固定字首來給圖片命名，使用正則表示式獲取網址的數字。

在 pipelines.py 檔案 中的 process_item() 函式中使用正則表示式得到圖片下載網址的數字：

import re
import urllib.request

class SeconddemoPipeline(object):
    def process_item(self, item, spider):
        # print(len(item['url']))
        for i in range(0, len(item['url'])):
            this_url = item['url'][i]
            id = re.findall('http://724.169pp.net/169mm/(.*?).jpg', this_url)[0]
            id = id.replace('/', '_')
            print(id)
            # file = 'D:/WorkSpace/python_ws/python-large-web-crawler/xiyangmeinv/' + str(i) + '.jpg'
            # print('Downloading :' , file)
            # urllib.request.urlretrieve(this_url, filename=file)
            # print('Final Download :' , file)
        return item

Alt text

要想使用 pipelines.py 檔案 中的 SeconddemoPipeline 類，需要在 settings.py 檔案裡面設定 ITEM_PIPELINES 項：

ITEM_PIPELINES = {
   'secondDemo.pipelines.SeconddemoPipeline': 300,
}

Alt text

這裡，我有一件事情不懂，關於正則表示式的： 網址裡面的. 也是正則表示式中的工具字元，也是資料中中的內容，那麼正則表示式是如何分辨它在這裡是功能字元還是內容字元？

在pic_169bb.py 檔案的demo() 回撥函式中，這樣寫才能獲取到美女網頁的第一頁的圖片地址：

        # error
        # self.getPic(response)
        # succes 為啥將下面的程式碼用self.getPic(response)的形式不能正常的獲取到，而使用下面的程式碼卻能獲取到？
        item = SeconddemoItem()
        item['url'] = response.xpath("//div[@class='big-pic']/div[@class='big_img']//p/img/@src").extract()
        # print(item['url'])
        # pass
        yield item

Alt text

執行程式試試：

測試單頁的美女網頁：

將parse()函式的最後一行改為：yield Request(url='http://www.169bb.com/xiyangmeinv/2016/0103/2268.html', callback=self.getPic)

Alt text

成功。

測試多頁的美女網頁：

先將parse()函式的最後一行改為：yield Request(url='http://www.169bb.com/xiyangmeinv/2016/0717/36463.html', callback=self.demo)

Alt text

都成功。

先測試下載圖片：

將 pipelines.py 檔案 中的 SeconddemoPipeline 類的process_item() 函式裡面，新增程式碼：

    def process_item(self, item, spider):
        # print(len(item['url']))
        for i in range(0, len(item['url'])):
            this_url = item['url'][i]
            id = re.findall('http://724.169pp.net/169mm/(.*?).jpg', this_url)[0]
            id = id.replace('/', '_')
            # print(id)
            file = 'D:/WorkSpace/python_ws/python-large-web-crawler/xiyangmeinv/' + id + '.jpg'
            print('Downloading :' , file)
            urllib.request.urlretrieve(this_url, filename=file)
            print('Final Download :' , file)
        return item

Alt text

執行程式，沒有毛病：（除了下載速度有點慢）

Alt text

下載 169美女圖片網 的所有西洋美女的圖片

在 pic_169bb.py檔案裡， 將parse()函式的最後一行改為：yield Request(url=xiyang_urldata, callback=self.next)

Alt text

將 demo() 函式裡面的所有程式碼複製一份到 next3()函式裡：

Alt text

現在，執行程式：（最終的程式）

Alt text

Alt text

成功！

防反爬技術

Step 4 . 不遵循 robots.txt 協議。

將 settings.py 檔案裡面的 ROBOTSTXT_OBEY 項設定為：False

Alt text

Step 6 . 模仿瀏覽器

將 settings.py 檔案裡面的 USER_AGENT 項設定為：瀏覽器的使用者代理資訊。

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0'

Step 7 . 禁止快取

將 settings.py 檔案裡面的 COOKIES_ENABLED 項設定為：False。

COOKIES_ENABLED = False

搞定

需要升級的地方:（2016-11-27 19:34:34）

  1. 在易錯的程式碼段加上異常檢測程式
  2. 在下載圖片的程式碼加上：超時異常檢測程式
  3. 記錄成功下載的、超時失敗下載的、連結失敗下載的 資訊
  4. 新增斷點續下功能。

相關推薦

Python3 大型網路爬蟲實戰 003 — scrapy 大型靜態圖片網站爬蟲專案實戰 — 實戰：爬取 169美女圖片網 高清圖片

開發環境 Python第三方庫：lxml、Twisted、pywin32、scrapy Python 版本：python-3.5.0-amd64 PyCharm軟體版本：pycharm-professional-2016.1.4 電腦系統：Wi

Java爬蟲系列之實戰：爬取酷狗音樂網 TOP500 的歌曲(附原始碼)

  在前面分享的兩篇隨筆中分別介紹了HttpClient和Jsoup以及簡單的程式碼案例： Java爬蟲系列二：使用HttpClient抓取頁面HTML Java爬蟲系列三：使用Jsoup解析HTML 今天就來實戰下，用他們來抓取酷狗音樂網上的 Top500排行榜音樂。接下來的程式碼

python3程式設計08-爬蟲實戰：爬取網路圖片

本篇部落格爬取內容如下： 爬取校花網的圖片   準備工作： 1.安裝python3 2.安裝pycharm 3.安裝Scrapy，參考：Scrapy安裝   cmd命令新建Scrapy工程 1. 在D:\PythonProjects目錄下新建

網路爬蟲之Scrapy實戰二：爬取多個網頁

前面介紹的scrapy爬蟲只能爬取單個網頁。如果我們想爬取多個網頁。比如網上的小說該如何如何操作呢。比如下面的這樣的結構。是小說的第一篇。可以點選返回目錄還是下一頁 對應的網頁程式碼： 我們再看進入後面章節的網頁，可以看到增加了上一頁 對應的網頁程式碼 通過

python3 [爬蟲入門實戰]爬蟲之scrapy爬取中國醫學人才網

自己第一次試著用scrapy進行爬取網頁，總共爬下9240條資料，也就兩分鐘不到，400多頁吧。用的比較簡單，但是爬取成功後感覺成就感滿滿的。 來張爬取結果圖 爬取欄位： “hospitalName”: “hospitalDesc”

Python網路爬蟲之股票資料Scrapy爬蟲例項介紹，實現與優化！（未成功生成要爬取的內容！）

結果TXT文本里面竟然沒有內容！cry~ 編寫程式： 步驟： 1. 建立工程和Spider模板 2. 編寫Spider 3. 編寫ITEM Pipelines 程式碼：成功建立 D:\>cd pycodes D:\pycodes>

python3程式設計07-爬蟲實戰：爬取新聞網站資訊3

本篇部落格在爬取新聞網站資訊2的基礎上進行。   主要內容如下： 1.定義獲取一頁20條連結內容的函式 2.構造多個分頁連結 3.抓取多個分頁連結新聞內容 4.用pandas整理爬取的資料 5.儲存資料到csv檔案 6.Scrapy的安裝  

【Python實戰】Scrapy豌豆莢應用市場爬蟲

對於給定的大量APP，如何爬取與之對應的（應用市場）分類、描述的資訊？且看下面分解。 1. 頁面分析 當我們在豌豆莢首頁搜尋框輸入微信後，會跳轉到搜尋結果的頁面，其url為http://www.wandoujia.com/search?key=%微信。搜尋結果一般是按相關性排序的；所以，我們認為第一條搜尋結果

Python3爬蟲實戰：爬取大眾點評網某地區所有酒店相關資訊

歷時一下午加一晚上，終於把這個爬蟲程式碼寫好，後面還有很多想完善的地方（譬如資料儲存用redis、使用多執行緒加快速度、爬取圖片、細分資料等等），待有空再做更改，下面是具體的步驟與思路： 工具：PyC

Python 網路爬蟲實戰：爬取 B站《全職高手》20萬條評論資料

本週我們的目標是：B站（嗶哩嗶哩彈幕網 https://www.bilibili.com ）視訊評論資料。 我們都知道，B站有很多號稱“鎮站之寶”的視訊，擁有著數量極其恐怖的評論和彈幕。所以這次我們的目標就是，爬取B站視訊的評論資料，分析其為何會深受大家喜愛。 首先去調研一下，B站評論數量最多的視訊是哪一

python3網絡爬蟲（2.1）：爬取堆糖美女

pre 線程 span 需要 pic ring clas lin chrome 額，明明記得昨晚存了草稿箱，一覺醒來沒了，那就簡寫點（其實是具體怎麽解釋我也不太懂/xk，純屬個人理解，有錯誤還望指正） 環境： 　　版本：python3 　　IDE：pycharm201

分布式爬蟲系統設計、實現與實戰：爬取京東、蘇寧易購全網手機商品數據+MySQL、HBase存儲

大數據 分布式 爬蟲 Java Redis [TOC] 1 概述 在不用爬蟲框架的情況，經過多方學習，嘗試實現了一個分布式爬蟲系統，並且可以將數據保存到不同地方，類似MySQL、HBase等。 基於面向接口的編碼思想來開發，因此這個系統具有一定的擴展性，有興趣的朋友直接看一下代碼，就能理

scrapy爬蟲框架（三）：爬取桌布儲存並命名

寫在開始之前 按照上一篇介紹過的 scrapy爬蟲的建立順序，我們開始爬取桌布的爬蟲的建立。 首先，我們先過一遍 scrapy爬蟲的建立順序： 第一步：確定要在pipelines裡進行處理的資料，寫好items檔案 第二步：建立爬蟲檔案，將所需要的資訊從

網路爬蟲：爬取動態網頁

import requests from bs4 import BeautifulSoup res = requests.get('http://news.sina.com.cn/c/nd/2017-06-12/doc-ifyfzhac1650783.shtml') res.encoding = '

[Python] [爬蟲] 1.批量政府網站的招投標、中標資訊爬取和推送的自動化爬蟲概要——脫離Scrapy框架

  目錄 1.Intro 2.Details 3.Theory 4.Environment and Configuration 5.Automation 6.Conclusion 1.Intro 作為Python的擁蹩，開源支持者，深信Python大

python之爬蟲的入門05------實戰：爬取貝殼網（用re匹配需要的資料）

# 第二頁：https://hz.zu.ke.com/zufang/pg2 # 第一頁：https://hz.zu.ke.com/zufang/pg1 import urllib.request import random import re def user_ip(): ''

[爬蟲架構]使用scrapy-redis+multiprocessing構建超級爬蟲

前言：        這段時間研究了一下scrapy-redis元件，有些個人實踐經歷和想法，現將其變成文字呈現出來。         前方高能預警：    &

使用IE控制元件來分析網頁結構，模擬測試爬蟲，使用scrapy+selenium來執行網頁爬蟲

通常我們使用scrapy來進行網頁內容的收集，但使用起來非常的不方便： 1. 需要使用工具，或者手動來計算得到網頁元素的xpath。 2. 對一些網頁內需要ajax的執行才顯示的內容處理起來並不方便。 我通過找相關的工具，研究爬蟲方案，找到了一個比較合適的工具軟體，和方便易用的處理流程：

Python3 Scrapy框架學習一：爬取貓眼Top100榜

以下操作基於Windows平臺。 開啟CMD命令提示框： 輸入 如下命令： 開啟專案裡的items.py檔案，定義如下變數，用於儲存。 class MaoyanItem(scrapy.Item): # define the fields for your

Python3 Scrapy框架學習二：爬取豆瓣電影Top250

開啟專案裡的items.py檔案，定義如下變數， import scrapy from scrapy import Item,Field class DoubanItem(scrapy.Item): # define the fields for your it