Redis是一個開源的使用ANSI C語言編寫、遵從BSD協議、支援網路，以及可基於記憶體也可持久化日誌、Key-Value資料庫、並提供多種語言的API。它通常被稱為資料結構伺服器，因為值（value）可以是字串（string）、雜湊（Hash）、列表(list)、集合（set）和有序集合（sorted set）等型別。

在Python爬蟲系統中，經常會使用Redis資料庫進行URL去重。

在爬蟲中應用Redis最多的是Redis的列表（list）和集合（set），所以下面主要以兩個為例進行講解。

安裝Redis庫

關於Redis資料庫的安裝，這裡省略。要在Python中操作Redis，需要安裝redis庫。可以使用pip命令來安裝，程式碼如下：

pip3 install redis

安裝好之後，新建一個test_redis.py檔案並輸入以下程式碼，執行後如果沒有報錯，則表示已安裝成功。

import  redis

1.列表

Redis列表是簡單的字串列表，安裝插入順序排序。使用者可以新增一個元素到列表的頭部（左側）或尾部（右側），一個列最多包含2³²-1個元素（4294967295，每個列超過40億個元素）。下面示例中，使用了Ipushu方法將3個值插入名為test_list的列表中。

1 import  redis
2 
3 # redis插入列表
4 conn = redis.StrictRedis(host='127.0.0.1
 
',port=6379)
5 
6 conn.lpush("test_list",1)
7 conn.lpush("test_list",2)
8 conn.lpush("test_list",3)

與列表相關的基本命令如下表所示。

2. 集合

Redis裡的set是String型別的無序集合。集合成員是唯一的，這就意味著集合中不能出現重複的資料。Redis中的集合是通過雜湊表實現的，所以新增、刪除、查詢的複雜度都是O(1)。集合中最大的成員數為2^{32-1。下面的實力中，sadd方法將值插入名為test_list1的列表中。}

1 import  redis
2 
3 conn = redis.StrictRedis(host='127.0.0.1',port=6379)
4 
5 conn.sadd("test_list1",1)
6 conn.sadd("test_list1",2)
7 conn.sadd("test_list1",3)

下表列出了Redis集合的基本命令。