1. 程式人生 > 其它 >爬取大量風景圖片--python爬蟲

爬取大量風景圖片--python爬蟲

分享原始碼:

from email import header
from importlib.resources import contents
import re
import urllib.request
from urllib import request
from bs4 import BeautifulSoup
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

x=0

def crawl(url):
    headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36'}
    req=request.Request(url,headers=headers)
    page=urllib.request.urlopen(req,timeout=2000)
    contents=page.read()
    # print(contents)

    soup=BeautifulSoup(contents,'html.parser')
    my_girl=soup.find_all('img')
    
    global x
    for girl in my_girl:
        link=girl.get('src')
        print(link)
        x+=1
        urllib.request.urlretrieve(link,'..\img\%s.jpg'%x)


for i in range(30):
    url='https://www.tupianzj.com/meinv/mm/list_218_'+str(i+1)+'.html'
    crawl(url)

print("下載完成,共下載"+str(x)+"張色圖")

要享用原始碼

  • 需要了解一點兒python的知識(比如模組,包機制什麼的)和安裝python編譯環境,因為用的時候你需要改一下url地址,pip下載bs4,還有改一下你自己的headers
  • 需要一顆愛美的心

爬的也不多,1個網站,30個頁面,1110張風景。