本文將假設我們的scrapy環境已經OK了，然後我們來開始進行第一次爬行體驗。本文將實現以下操作:

• 建立一個Scrapy專案
• 定義提取的Item
• 編寫爬取網站的 spider 並提取 Item
• 編寫 Item Pipeline 來儲存提取到的Item(即資料)

1. 建立一個Scrapy專案

一般我建議在學習或者工作目錄下單獨建立一個目錄來存放某一個特定學習專案或者文件（建議而已），直接上命令：

scrapy startproject first_spider
#命令串解釋：命令 建立新專案的動作 專案名稱（隨便起）

建立好之後我們會看到專案結構如下（劃掉的部分為後面寫的爬蟲檔案以及爬蟲爬取到的檔案，初始沒有的）：

scrapy.cfg: 專案的配置檔案
first_spider/: 該專案的python模組。之後您將在此加入程式碼。
first_spider/items.py: 專案中的item檔案.
first_spider/pipelines.py: 專案中的pipelines檔案.
first_spider/settings.py: 專案的設定檔案.
first_spider/spiders/: 放置spider程式碼的目錄.

2. 定義Item

Item 是儲存爬取到的資料的容器；其使用方法和python字典類似， 並且提供了額外保護機制來避免拼寫錯誤導致的未定義欄位錯誤。

首先根據需要從runoob.com獲取到的資料對item進行建模。 我們需要從根據爬蟲獲取名字，url，以及網站的描述。 對此，在item中定義相應的欄位。編輯 first_spider目錄中的 items.py 檔案:

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy
class FirstSpiderItem(scrapy.Item)
 
:
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

3. 編寫第一個爬蟲(Spider)來爬取網頁

為了建立一個Spider，必須要繼承 scrapy.Spider 類， 且定義以下三個屬性:

• name: 用於區別Spider。 該名字必須是唯一的，您不可以為不同的Spider設定相同的名字。到時候我們啟動爬蟲就根據這個名字來的。

• start_urls: 包含了Spider在啟動時進行爬取的url列表。 因此，第一個被獲取到的頁面將是其中之一。 後續的URL則從初始的URL獲取到的資料中提取。

• parse() 是spider的一個方法。 被呼叫時，每個初始URL完成下載後生成的 Response 物件將會作為唯一的引數傳遞給該函式。 該方法負責解析返回的資料(response data)，提取資料(生成item)以及生成需要進一步處理的URL的 Request 物件。

以下為我們的第一個Spider程式碼，儲存在 first_spider/spiders 目錄下的 halo_spider.py 檔案中:

import scrapy

class DmozSpider(scrapy.Spider):
    name = "firstSpider"
    #爬蟲的名字
    allowed_domains = ["runoob.com"]
    #所允許爬取得域
    start_urls = [
        "http://www.runoob.com/sql/",
        "http://www.runoob.com/python/"
    ]
    #爬蟲開始的連結urls

    def parse(self, response):
    #定義對於爬蟲的返回結果的處理，這裡只是做了一個檔案儲存，到時候就會有sql和python兩個檔案生成
        filename = response.url.split("/")[-2]
        with open(filename, 'wb') as f:
            f.write(response.body)

4. 開爬，讓蟲子動起來

進入專案的根目錄（本例中是first_spider），執行下列命令啟動spider:

scrapy crawl firstSpider

爬蟲啟動截圖：

爬去過程截圖：

爬去結果截圖（得到了兩個檔案sql和python），檢視python名稱的檔案內容發現是一個網頁檔案

此過程中：Scrapy為Spider的 start_urls 屬性中的每個URL建立了 scrapy.Request 物件，並將 parse 方法作為回撥函式(callback)賦值給了Request。

Request物件經過排程，執行生成 scrapy.http.Response 物件並送回給spider parse() 方法。

5. 提取Item

提取資料

從網頁中提取資料有很多方法。Scrapy使用了一種基於 XPath 和 CSS 表示式機制: Scrapy Selectors ，沒接觸過的人可以理解為正則表示式。
我們重新寫一下爬蟲的處理函式，利用 .xpath() 呼叫返回selector組成的list，拼接更多的 .xpath() 來進一步獲取某個節點資訊:

import scrapy

class DmozSpider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        for sel in response.xpath('//ul/li'):
            title = sel.xpath('a/text()').extract()
            link = sel.xpath('a/@href').extract()
            desc = sel.xpath('text()').extract()
            print(title, link, desc)

由下圖的結果可以看出，爬取得結果現在只包含了網頁的標題、連結、描述（大部分為空）：

使用item

Item 物件是自定義的python字典。 您可以使用標準的字典語法來獲取到其每個欄位的值。一般來說，Spider將會將爬取到的資料以 Item 物件返回。所以為了將爬取的資料返回，我們最終的程式碼將是:

import scrapy
from first_spider.items import FirstSpiderItem
class DmozSpider(scrapy.Spider):
    name = "firstSpider"
    allowed_domains = ["runoob.com"]
    start_urls = [
        "http://www.runoob.com/sql/",
        "http://www.runoob.com/python/"
    ]
    def parse(self, response):
        for sel in response.xpath('//ul/li'):
            item = FirstSpiderItem()
            item['title'] = sel.xpath('a/text()').extract()
            item['link'] = sel.xpath('a/@href').extract()
            item['desc'] = sel.xpath('text()').extract()
            yield item

執行結果如下：
可以看到爬取得結果成了字典對映的結構，內容更加清晰了

6. 儲存爬取到的資料

scrapy crawl dmoz -o runoob.json
#-o後面跟檔名稱

該命令將採用 JSON 格式對爬取的資料進行序列化，生成 runoob.json 檔案。

執行結果截圖如下，可以看到爬去的資料以json的格式儲存到了檔案中：

在類似本篇教程裡這樣小規模的專案中，這種儲存方式已經足夠。 如果需要對爬取到的item做更多更為複雜的操作，可以編寫 Item Pipeline 。 類似於我們在建立專案時對Item做的，用於編寫自己的 first_spider/pipelines.py 也被建立。