爬蟲，在採集處理資料的時候，要想注重速度效率，並且要採集的資料量比較大的話，很有必要使用分散式。

首先進行的第一步，安裝redis資料庫。

REmote DIctionary Server(Redis) 是一個由Salvatore Sanfilippo寫的key-value儲存系統。

Redis是一個開源的使用ANSI C語言編寫、遵守BSD協議、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value資料庫，並提供多種語言的API。

它通常被稱為資料結構伺服器，因為值（value）可以是 字串(String), 雜湊(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等型別。

優勢就是在資料儲存量很大的時候，也可以很快啟動，而且分主從伺服器，如果主伺服器崩潰，可以將另一個從伺服器設為主伺服器。和快就可以使redis恢復執行，主從之間的分工是，主伺服器只管寫入資料，從屬只負責讀取。

介紹完這些，講講怎麼安裝redis資料庫。https://redis.io/   首先從官網下載安裝包，然後解壓，開啟後按步驟來點選。下載的時候，一般從上往下是版本的新舊，版本新的都靠上。

redis安裝

2.建立一個資料夾，名字為redis，放在電腦上任意目錄，然後將剛才下載的檔案解壓縮到redis裡面
3.終端進入redis資料夾，輸入命令redis-server redis.windows.conf 這樣的話 服務端就會打開了
4.如果想要便利，直接將redis的路徑新增到環境變數裡面，這樣每次就不用cd進去了
5.重新開啟一個終端，開啟客戶端 redis-cli -h 127.0.0.1 -p 6379
6.設定鍵值對 設定值 set key1 XX  獲取值 get key1
7.如果想要在讓B電腦連線到A電腦上，需要獲取A電腦的IP
8.B電腦需要設定redis-cli -h A電腦ip
9.在B電腦終端輸入命令get key1，就可以獲取剛才A電腦上的key1值，如果出錯，需要設定A電腦上的配置檔案
  127.0.0.1註釋掉 dazmoize no 關係守護程序 protected-mode no 關閉保護模式

scrapy-redis安裝
pip install scrapy-redis