我是基於最新版本（0.6版）的 scrapy-redis 來胡說八道的

一、scrapy-redis（0.6）依賴的環境

Scrapy >= 1.0.0                #終於過了1版本，這個太重要了，總算坑小了點，感謝那些為了解決各種scrapy與scrapy-redis不相容做出了貢獻的開發者和博主。
redis-py >= 2.10.0
redis server >= 2.8.0

0.6版本的主要更新內容是更新程式碼以支援Scrapy 1.0； 增加了-a domain=... option for example spiders.

官方原始碼

二、scrapy-redis的作用和特點

作用：scrapy-redis為Scrapy提供Redis-backed元件

特點： 可以啟動多個爬蟲例項共享一個單一的 redis佇列。是最適合廣泛的多域爬蟲。

分散式的post處理。scrapy到的items放入一個redis佇列意味著可以分享這個items佇列，並在其中啟用足夠多的post處理程序。

三、scrapy和scrapy-redis的區別與元件的意義

scrapy 是一個通用的爬蟲框架 scrapy-redis是為了更方便地實現scrapy分散式爬取，而提供了一些以redis為基礎的元件(僅有元件) scrapy-redis提供了下面四種元件（components）：(四種元件意味著這四個模組都要做相應的修改) Scheduler Duplication FilterItem PipelineBase Spider

scrapy改造了python本來的collection.deque形成了自己的scrqueue(自己取得名字) 傳送門：queuelib/queuelib/queue.py原始碼
scrapy多個spider不能共享待爬取佇列scrqueue， 即scrapy本身不支援爬蟲分散式，解決是把這個scrqueue換成redis資料庫（也是指redis佇列），從同一個redis-server存放要爬取的request，便能讓多個spider去同一個資料庫裡讀取。 scrapy中跟“待爬佇列”直接相關的就是排程器“

Scheduler”，它負責對新的request進行入列操作（加入scrqueue），取出下一個要爬取的request（從scrqueue中取出）等操作。它把待爬佇列按照優先順序建立了一個字典結構，比如：

{

priority0:佇列0

priority1:佇列2

priority2:佇列2

}

然後根據request中的priority屬性，來決定該入哪個佇列。而出列時，則按priority較小的優先出列。為了管理這個比較高階的佇列字典，Scheduler需要提供一系列的方法。原來的Scheduler已經無法使用（被替換掉了，注意上一個紅色欄位），所以使用scrapy-redis的scheduler元件。 scrapy中用集合實現這個request去重功能，scrapy中把已經發送的request指紋放入到一個集合中，把下一個request的指紋拿到集合中比對，如果該指紋存在於集合中，說明這個request傳送過了，如果沒有則繼續操作。（原始碼傳送）這個核心的判重功能是這樣實現的：

</pre></div></blockquote><pre name="code" class="plain">def request_seen(self, request):
    #self.figerprints就是一個指紋集合
    fp = self.request_fingerprint(request)
    if fp in self.fingerprints:#這就是判重的核心操作。
        return True
    self.fingerprints.add(fp)
    ......

在scrapy-redis中去重是由Duplication Filter元件來實現的。

四、最快的安裝和啟用

安裝：

$ pip install scrapy-redis 
或者 
$ git clone https://github.com/darkrho/scrapy-redis.git
$ cd scrapy-redis
$ python setup.py install

  在 settings.py 中啟用元件們：

</pre></blockquote><pre name="code" class="plain"># Enables scheduling storing requests queue in redis.
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
</pre></div></blockquote><blockquote style="margin:0 0 0 40px; border:none; padding:0px"><div><span style="white-space:pre"></span><pre code_snippet_id="1682225" snippet_file_name="blog_20160513_16_2220405" name="code" class="python"># Don't cleanup redis queues, allows to pause/resume crawls.
SCHEDULER_PERSIST = True
</pre></div></blockquote><blockquote style="margin:0 0 0 40px; border:none; padding:0px"><div><span style="white-space:pre"></span><pre code_snippet_id="1682225" snippet_file_name="blog_20160513_19_5349541" name="code" class="python"># Schedule requests using a priority queue. (default)
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
</pre></div></blockquote><blockquote style="margin:0 0 0 40px; border:none; padding:0px"><div><span style="white-space:pre"></span><pre code_snippet_id="1682225" snippet_file_name="blog_20160513_22_4193298" name="code" class="python"># Schedule requests using a queue (FIFO).
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderQueue'
</pre></div></blockquote><blockquote style="margin:0 0 0 40px; border:none; padding:0px"><div><span style="white-space:pre"></span><pre code_snippet_id="1682225" snippet_file_name="blog_20160513_25_5337568" name="code" class="python"># Schedule requests using a stack (LIFO).
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderStack'
</pre></div></blockquote><blockquote style="margin:0 0 0 40px; border:none; padding:0px"><div><span style="white-space:pre"></span><pre code_snippet_id="1682225" snippet_file_name="blog_20160513_28_6547876" name="code" class="python"># Max idle time to prevent the spider from being closed when distributed crawling.
# This only works if queue class is SpiderQueue or SpiderStack,
# and may also block the same time when your spider start at the first time (because the queue is empty).
SCHEDULER_IDLE_BEFORE_CLOSE = 10
</pre></div></blockquote><blockquote style="margin:0 0 0 40px; border:none; padding:0px"><div><span style="white-space:pre"></span><pre code_snippet_id="1682225" snippet_file_name="blog_20160513_33_5980278" name="code" class="python"># Store scraped item in redis for post-processing.
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300
}
</pre></div></blockquote><blockquote style="margin:0 0 0 40px; border:none; padding:0px"><div><span style="white-space:pre"></span><pre code_snippet_id="1682225" snippet_file_name="blog_20160513_38_8651283" name="code" class="python"># Specify the host and port to use when connecting to Redis (optional).
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
</pre></div></blockquote><blockquote style="margin:0 0 0 40px; border:none; padding:0px"><div><span style="white-space:pre"></span><pre code_snippet_id="1682225" snippet_file_name="blog_20160513_42_1638716" name="code" class="python"># Specify the full Redis URL for connecting (optional).
# If set, this takes precedence over the REDIS_HOST and REDIS_PORT settings.
REDIS_URL = 'redis://user:[email protected]:9001'

五、通過redis來餵飽爬蟲們~

scrapy_redis.spiders.RedisSpider類啟用了爬蟲通過redis得到urls，這些在redis佇列中的爬蟲將會一個接一個的被處理，！！如果第一個request產生了更多的request，爬蟲會先處理這些請求，再從redis佇列中抓取其他url。

上面偷懶，這裡舉個栗子：建立 couxiaoxiao.py

from scrapy_redis.spiders import RedisSpider
</pre></div><div><pre code_snippet_id="1682225" snippet_file_name="blog_20160513_47_2390110" name="code" class="python">class MySpider(RedisSpider):
    name = 'myspider'
</pre></div><div><pre code_snippet_id="1682225" snippet_file_name="blog_20160513_50_2662327" name="code" class="python">    def parse(self, response):
        # do stuff
        pass

執行爬蟲

scrapy runspider myspider.py

向redis中裝入url們

redis-cli lpush myspider:start_urls http://xiaowangzhi.com

六、內容待續。。。有關注的技術方向請評論