Python 用Redis簡單實現分散式爬蟲的方法
阿新 • • 發佈:2020-01-09
Redis通常被認為是一種持久化的儲存器關鍵字-值型儲存,可以用於幾臺機子之間的資料共享平臺。
連線資料庫
注意:假設現有幾臺在同一區域網內的機器分別為Master和幾個Slaver
Master連線時host為localhost即本機的ip
_db = redis.Reds(host='localhost',port=6379,db=0)
Slaver連線時的host也為Master的ip,埠port和資料庫db不寫時為預設值6379、0
_db = redis.Redis(host='192.168.235.80')
Redis含列表、集合,字串等幾種資料結構,具體詳細的幾種資料結構的操作命令可檢視Redis官網http://redis.io/commands,下面是對集合進行操作的一些命令
_db.sadd(key,*values) # 插入指定values到集合中並返回新插入的的值的數量 _db.spop(self.key) # 隨機從集合中的得到一個元素將其從集合中刪除並作為返回值返回 _db.smembers(self.key) # 返回集合的所有元素 _db.delete(key) # 刪除整個集合,成功返回1,失敗返回0 _db.srandmember(self.key) # 從集合中隨機選取一個元素作為返回 _db.sismember(self.key,value) # 判斷指定value是否在本集合中,成功返回1,失敗返回0
例如,Master可利用redis將url上傳到資料庫
for i in range(20): # 將需爬取的糗事百科前20頁的url並存入urls集合 url = 'http://www.qiushibaike.com/hot/page/%d/' % (i + 1) _db.sadd('urls',url) # 將url插入關鍵字urls集合中,若url已存在則不再插入
進而Master和Slaver可從資料庫裡獲取url
url = _db.spop('urls') # 隨機從urls集合中取出一個url返回並將其刪去
同理,Master可利用上面的方法將其他一些共用的資源上傳到資料庫,Slaver就可從資料庫下載需要的東西。下面是一個完整的例子
# coding=utf-8 import urllib2 import re import time import redis headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML,like Gecko) Ubuntu Chromium/49.0.2623.108 Chrome/49.0.2623.108 Safari/537.36'} job_redis = redis.Redis(host='192.168.235.80') # host為主機的IP,port和db為預設值 class Clawer(object): identity = 'master' # 或slaver def __init__(self): if self.identity == 'master': for i in range(20): # 將需爬取的糗事百科前20頁的url並存入urls集合 url = 'http://www.qiushibaike.com/hot/page/%d/' % (i + 1) job_redis.sadd('urls',url) self.main() def get_content(self): """ 從糗事百科中獲取故事 :return: 故事列表 """ stories = [] content_pattern = re.compile('<div class="content">([\w\W]*?)</div>([\w\W]*?)class="stats"') # 匹配故事內容(第一空)和是否含有圖片(第二空)的模板 pattern = re.compile('<.*?>') # 匹配包括括號及括號內無關內容的模板 url = job_redis.spop('urls') while url: # 當資料庫還存在網頁url,取出一個並爬取 try: request = urllib2.Request(url,headers=headers) response = urllib2.urlopen(request) text = response.read() except urllib2.URLError,e: # 若出現網頁讀取錯誤捕獲並輸出 if hasattr(e,"reason"): print e.reason content = re.findall(content_pattern,text) # 獲取含模板內容的列表 for x in content: if "img" not in x[1]: # 過濾含圖片的故事 x = re.sub(pattern,'',x[0]) x = re.sub('\n',x) stories.append(x) url = job_redis.spop('urls') time.sleep(3) return stories def main(self): self.get_content() if __name__ == '__main__': Clawer()
將此程式碼在幾臺機器同時執行,調節其身份為master或slaver,做到簡單的分散式爬蟲
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。