Scrapy

文章僅供學習，如有錯誤，歡迎指出

1.建立專案 scrapy startproject tutorial

2.檔案目錄

tutorial/
    scrapy.cfg #專案的配置檔案
    tutorial/
        __init__.py #宣告包
        items.py    #專案中的item檔案，提取欄位內容
        pipelines.py #專案中的pipeline檔案
        settings.py  #設定檔案
        spiders/     #你的爬蟲專用檔案
            __init__.py  #聲名包
 

            ...

使用Item整理

Item物件是自定義的python字典。 您可以使用標準的字典語法來獲取到其每個欄位的值。(欄位即是我們之前用Field賦值的屬性):

for i in response('//ul/li'):
    item = DmozItem()#引用items.py下的類
    item['title'] = i.xpath().extract()
    ...
    yield item

儲存爬取到的資料

scrapy crawl spidername -o items.json

Item Pipeline

process_item(self, item, spider)

3.定製自己的Items

Item是爬取到的資料的容器，在這裡我們可以將自己爬取到的內容定義不同的欄位名。再通過parse的方法解析並讀取出來放到這裡

import scrapy

class DmozItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

​ 如果你學過django 那麼item欄位一定難不倒你， 你可以建立屬於自己的Item類,但是需要繼承的時Item類，比如一個網站你想爬取的內容很多，那麼你可以定義屬於自己的item類，並且用Field

Item在其他地方的引用

  from firstspider.items import DmozItem    #引用Item
    def parse_artical_text(self,response):
        pass

        item = bolezaixianSpiderItem()
        title = response.css('.grid-8 .entry-header h1::text')[0].extract()
        time =  response.css('.grid-8 .entry-meta p::text')[0].extract().strip().replace('·','').strip()
        theme = response.css('.grid-8 .entry-meta p a::text')[0].extract().strip()
        zan =   response.css('.grid-8 .post-adds span h10::text')[0].extract()
        fav = response.css('.grid-8 .post-adds span::text')[2].extract()
        fav_re = re.match('.*?(\d+).*',fav)
        if fav_re:
            fav = fav_re.group(1)
        else:
            fav=0

        item['title'] = title
        item['time'] = time
        item['theme'] = theme
        item['zan'] = zan
        item['fav'] = fav
        yield item

​ 這樣的處理方式一旦當欄位多的時候我們就會使得工作變得複雜，並且不好修改

#通過Item_load來簡化我們提取欄位的過程
from scrapy.loader import ItemLoader


item_loader = ItemLoader(item=bolezaixianSpiderItem,response=response)
item_loader.add_css('title','.grid-8 .entry-header h1::text')
item_loader.add_xpath('title','//id[@href ="sd"]')
item_loader.add_value('url',response.url)
item_loader.add_value('title',response.title)

​ 這樣的操作會讓我們容易後期的修改，add_css內只要輸入欄位名稱以及css篩選的程式碼就可以過濾出來。

但是有時候我們只要取一個值，這時候我們需要在items.py下去篩選。

​ Field()包含了兩種處理方法

from scrapy.loader.processors import MapCompose,TakeFirst

def cut_Item(value):   #這裡處理我們的接受到的資料
    return value+"dsd"  #處理資料

class test(scrapy.Item):
    title = scrapy.Field(
        input_process = MapCompose(cut_Item),   #自定義對欄位的處理方法
        output_process = TakeFirst() #取第一個,但是如果我們的欄位過多。這個時候我們可以自定義一個load
    )

當然如果我們指向要取第一位數字，我們只要聲名一個item類就可以了。

他有四個引數

class ItemLoader(object):

    default_item_class = Item
    default_input_processor = Identity()
    default_output_processor = Identity()
    default_selector_class = Selector

    def __init__(self, item=None, selector=None, response=None, parent=None, **context):
        if selector is None and response is not None:
            selector = self.default_selector_class(response)
        self.selector = selector
        context.update(selector=selector, response=response)
        if item is None:
            item = self.default_item_class()
        self.context = context
        self.parent = parent
        self._local_item = context['item'] = item
        self._local_values = defaultdict(list)

# from scrapy.loader import ItemLoader
#
# class  zidingyiItemload(ItemLoader):
#     default_output_processor = TakeFirst()