Python 3 爬取網路資源(一)
阿新 • • 發佈:2019-02-07
最近剛學習python爬蟲技術,查找了一下python爬蟲的demo,發現大部分都是python 2 的語法,於是自己查了一下api,自己變更修改了下,最終完成了圖片爬取。
具體程式碼如下:
#coding=utf-8 import re import urllib.request def getHtml(url): page = urllib.request.urlopen(url) html = page.read().decode('utf-8') return html def getDiv(html): reg = r'src="(https://.+?\.jpg)"' divRe = re.compile(reg) imglist = re.findall(divRe,html) x = 0 for imgurl in imglist: urllib.request.urlretrieve(imgurl,'%s.jpg' % x) x+=1 return imglist html = getHtml("https://image.baidu.com/") print(getDiv(html))
整個程式是通過制定具體的網址,使用python 的 urllib.request 庫,然後使用正則表示式去匹配。最後使用的urllib.requst的
urlretrieve函式將網上圖片儲存到本地。