使用過scrapy_redis框架的人一定知道，scrapy redis 在沒有requests的時候，會阻塞等待接收start_url，程式無法自動結束。那如何自動停止程式，結束空跑呢？？？ 下面是通過設定超時時間來結束空跑 spider_idle 訊號

scrapy.signals.spider_idle(spider)
當spider進入空閒(idle)狀態時該訊號被髮送。空閒意味著:

requests正在等待被下載
requests被排程
items正在item pipeline中被處理
當該訊號的所有處理器(handler)被呼叫後，如果spider仍然保持空閒狀態， 引擎將會關閉該spider。當spider被關閉後， spider_closed 訊號將被髮送。

您可以，比如，在 spider_idle 處理器中排程某些請求來避免spider被關閉。

該訊號 不支援 返回deferreds。

引數: spider (Spider 物件) – 空閒的spider
 

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13

瞭解了spider_idle 訊號，大家有嗅到什麼麼？ 對於scrapy_reids為何不能自動停止， scrapy_redis原始碼是這樣的：

   defspider_idle(self):
        """Schedules a request if available, otherwise waits."""
        # XXX: Handle a sentinel to close the spider.
        self.schedule_next_requests()    # 這裡呼叫schedule_next_requests() 來從redis中生成新的請求
 

        raise DontCloseSpider              # 丟擲不要關閉爬蟲的DontCloseSpider異常，保證爬蟲活著

• 1
• 2
• 3
• 4
• 5
• 6

現在應該都清楚了吧，是因為scrapy_redis 從來不關閉spider。按照這個邏輯，我們可以在spider_idle 里加入自己的想法，比如 半個小時之後 spider還是空閒並且不存在redis key，那我們就發出close spider的訊號，這樣不就可以自如關閉爬蟲了麼？ 具體我們可以使用 scrapy 框架中的 Extensions。具體如何使用文件很清楚。接下來，貼上具體解決方法。 在settings.py 同級 建立extensions.py，寫入：

# -*- coding: utf-8 -*-

# Define here the models for your scraped Extensions


from scrapy import signals
from scrapy.exceptions import NotConfigured


classRedisSpiderSmartIdleClosedExensions(object):

    def__init__(self, idle_number, crawler):
        self.crawler = crawler
        self.idle_number = idle_number
        self.idle_list = []
        self.idle_count = 0

    @classmethod
    deffrom_crawler(cls, crawler):
        # first check if the extension should be enabled and raise

        # NotConfigured otherwise

        if not crawler.settings.getbool('MYEXT_ENABLED'):

            raise NotConfigured

        if not 'redis_key' in crawler.spidercls.__dict__.keys():

            raise NotConfigured('Only supports RedisSpider')

        # get the number of items from settings

        idle_number = crawler.settings.getint('IDLE_NUMBER', 360)

        # instantiate the extension object

        ext = cls(idle_number, crawler)

        # connect the extension object to signals

        crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)

        crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)

        crawler.signals.connect(ext.spider_idle, signal=signals.spider_idle)

        return ext

    defspider_opened(self, spider):
        spider.logger.info("opened spider {}, Allow waiting time:{} second".format(spider.name, self.idle_number*5))

    defspider_closed(self, spider):
        spider.logger.info("closed spider {}, Waiting time exceeded {} second".format(spider.name, self.idle_number*5))

    defspider_idle(self, spider):
        # 程式啟動的時候會呼叫這個方法一次，之後每隔5秒再請求一次
        # 當持續半個小時都沒有spider.redis_key，就關閉爬蟲
        # 判斷是否存在 redis_key
        if not spider.server.exists(spider.redis_key):
            self.idle_count += 1
        else:
            self.idle_count = 0

        if self.idle_count > self.idle_number:
            # 執行關閉爬蟲操作
            self.crawler.engine.close_spider(spider, 'Waiting time exceeded')

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48
• 49
• 50
• 51
• 52
• 53
• 54
• 55
• 56
• 57
• 58
• 59
• 60
• 61
• 62
• 63
• 64
• 65
• 66
• 67
• 68

在settings 配置如下：

MYEXT_ENABLED=True      # 開啟擴充套件
IDLE_NUMBER=360           # 配置允許的空閒時長，每5秒會增加一次IDLE_NUMBER，直到增加到360，程式才會close

# 在 EXTENSIONS 配置，啟用擴充套件
EXTENSIONS = {
            'yourproject.extensions.RedisSpiderSmartIdleClosedExensions': 500,
        },

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

整個的程式都配置完成了，很歡快。。。。。。。。