先說下自己的環境，redis是部署在centos上的，爬蟲執行在windows上，

1. 安裝redis

yum install -y redis

2. 修改配置檔案

vi /etc/redis.conf

將protected-mode no解註釋，否則的話，在不設定密碼情況下遠端無法連線redis

3. 重啟redis

systemctl restart redis

4. 關閉防火牆

systemctl stop firewalld.service

5. 開始建立scrapy-redis的相關，和普通的scrapy一樣的建立，只不過修改setting.py檔案，新增一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py檔案

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self,response):
    print(1111)
    pass

7. 可以執行這個爬蟲了

scrapy runspider example.py

8. 進入redis

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

即可看到爬蟲開始運行了

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對我們的支援。如果你想了解更多相關內容請檢視下面相關連結