爬取大量風景圖片--python爬蟲
阿新 • • 發佈:2022-04-18
分享原始碼:
from email import header from importlib.resources import contents import re import urllib.request from urllib import request from bs4 import BeautifulSoup import ssl ssl._create_default_https_context = ssl._create_unverified_context x=0 def crawl(url): headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36'} req=request.Request(url,headers=headers) page=urllib.request.urlopen(req,timeout=2000) contents=page.read() # print(contents) soup=BeautifulSoup(contents,'html.parser') my_girl=soup.find_all('img') global x for girl in my_girl: link=girl.get('src') print(link) x+=1 urllib.request.urlretrieve(link,'..\img\%s.jpg'%x) for i in range(30): url='https://www.tupianzj.com/meinv/mm/list_218_'+str(i+1)+'.html' crawl(url) print("下載完成,共下載"+str(x)+"張色圖")
要享用原始碼
- 需要了解一點兒python的知識(比如模組,包機制什麼的)和安裝python編譯環境,因為用的時候你需要改一下url地址,pip下載bs4,還有改一下你自己的headers
- 需要一顆愛美的心
爬的也不多,1個網站,30個頁面,1110張風景。