分散式爬蟲的演習。

分散式爬蟲問題其實也就是多臺機器多個 spider 對 多個 url 的同時處理問題，怎樣 schedule 這些 url，怎樣彙總 spider 抓取的資料。最簡單粗暴的方法就是將 url 進行分片，交給不同機器，最後對不同機器抓取的資料進行彙總。然而這樣每個 spider 只能對自己處理的 url 去重，沒辦法全域性的去重，另外效能也很難控制，可能有某臺機器很早就跑完了，而別的機器還要跑很久。另一種思路就是把 url 存在某個地方，共享給所有的機器，總的排程器來分配請求，判斷 spider 有沒有閒置，閒置了就繼續給它任務，直到所有的 url 都爬完，這種方法解決了去重問題（下面會具體講到），也能提高效能，scrapy-redis 就實現了這樣一個完整框架，總的來說，這更適合廣度優先的爬取。

Scrapyd

Scrapy 並沒有提供內建的分散式抓取功能，不過有很多方法可以幫你實現。

如果你有很多個spider，最簡單的方式就是啟動多個 Scrapyd 例項，然後將spider分佈到各個機器上面。

如果你想多個機器運行同一個spider，可以將url分片後交給每個機器上面的spider。比如你把URL分成3份

http://somedomain.com/urls-to-crawl/spider1/part1.list
http://somedomain.com/urls-to-crawl/spider1/part2.list
http://somedomain.com/urls-to-crawl/spider1/part3.list

然後執行3個 Scrapyd 例項，分別啟動它們，並傳遞part引數

curl http://scrapy1.mycompany.com:6800/schedule.json -d project=myproject -d spider=spider1 -d part=1
curl http://scrapy2.mycompany.com:6800/schedule.json -d project=myproject -d spider=spider1 -d part=2
curl http://scrapy3.mycompany.com:6800/schedule.json -d project=myproject -d spider=spider1 

Crawlera

這個，花錢就可以輕易解決～直達

Scrapy-redis

Redis 是高效能的 key-value 資料庫。我們知道 MongoDB 將資料儲存在了硬盤裡，而 Redis 的神奇之處在於它將資料儲存在了記憶體中，因此帶來了更高的效能。

分散式原理

scrapy-redis實現分散式，其實從原理上來說很簡單，這裡為描述方便，我們把自己的核心伺服器稱為 master，而把用於跑爬蟲程式的機器稱為 slave。

回顧scrapy 框架，我們首先給定一些start_urls，spider 最先訪問 start_urls 裡面的 url，再根據我們的 parse 函式，對裡面的元素、或者是其他的二級、三級頁面進行抓取。而要實現分散式，只需要在這個starts_urls裡面做文章就行了。進一步描述如下：

1. master 產生 starts_urls，url 會被封裝成 request 放到 redis 中的 spider:requests，總的 scheduler 會從這裡分配 request，當這裡的 request 分配完後，會繼續分配 start_urls 裡的 url。

2. slave 從 master 的 redis 中取出待抓取的 request，下載完網頁之後就把網頁的內容傳送回 master 的 redis，key 是 spider:items。scrapy 可以通過 settings 來讓 spider 爬取結束之後不自動關閉，而是不斷的去詢問佇列裡有沒有新的 url，如果有新的 url，那麼繼續獲取 url 並進行爬取，所以這一過程將不斷迴圈。

3. master 裡的 reids 還有一個 key 是 “spider:dupefilter” 用來儲存抓取過的 url 的 fingerprint（使用雜湊函式將url運算後的結果），防止重複抓取，只要 redis 不清空，就可以進行斷點續爬。

對於已有的 scrapy 程式，對其擴充套件成分散式程式還是比較容易的。總的來說就是以下幾步：

1. 找一臺高效能伺服器，用於 redis 佇列的維護以及資料的儲存。
2. 擴充套件 scrapy 程式，讓其通過伺服器的 redis 來獲取 start_urls，並改寫 pipeline 裡資料儲存部分，把儲存地址改為伺服器地址。
3. 在伺服器上寫一些生成url的指令碼，並定期執行。

關於 scheduler 到底是怎麼進行排程的，需要看原始碼進行分析。

原始碼分析

可能上面的描述還是不夠清楚，乾脆看一下原始碼吧，scrapy-redis 主要要一下幾個檔案。

零件分析

1. connection.py
   根據 settings 裡的配置例項化 redis 連線，被 dupefilter 和 scheduler 呼叫。

2. dupefilter.py
   對 request 進行去重，使用了 redis 的 set。

3. queue.py
   三種 queue, SpiderQueue（FIFO), SpiderPriorityQueue，以及 SpiderStack(LIFI)。預設使用的是第二種。

4. pipelines.py
   分散式處理，將 item 儲存在 redis 中。

5. scheduler.py
   取代 scrapy 自帶的 scheduler,實現分散式排程，資料結構來自 queue。

6. spider.py
   定義 RedisSpider.py, 繼承了 RedisMixin 和 CrawlSpider。

由上可知，scrapy-redis 實現的爬蟲分散式和item處理分散式就是由模組 scheduler 和模組 pipelines 實現。上述其它模組作為為二者輔助的功能模組。

排程過程

初始化

spider 被初始化時，同時會初始化一個對應的 scheduler 物件，這個排程器物件通過讀取 settings，配置好自己的排程容器 queue 和判重工具dupefilter。

判重 & 進入排程池

每當一個 spider 產出一個 request 的時候，scrapy 核心會把這個 request 遞交給這個 spider 對應的 scheduler 物件進行排程，scheduler 物件通過訪問 redis 對 request 進行判重，如果不重複就把他新增進 redis 中的排程池。

排程

當排程條件滿足時，scheduler 物件就從 redis 的排程池中取出一個 request 傳送給spider，讓 spider 爬取，若爬取過程中返回更多的url，那麼繼續進行直至所有的 request 完成。在這個過程中通過 connect signals.spider_idle 訊號對 crawler 狀態的監視，scheduler 物件發現 這個 spider 爬取了所有暫時可用 url，對應的 redis 的排程池空了，於是觸發訊號 spider_idle，spider收到這個訊號之後，直接連線 redis 讀取 strart_url池，拿去新的一批 url，返回新的 make_requests_from_url(url) 給引擎，進而交給排程器排程。

熟悉了原理其實可以自己來寫 scheduler，自己定義排程優先順序和順序，