Python 爬蟲批量爬取網頁圖片儲存到本地的實現程式碼
其實和爬取普通資料本質一樣,不過我們直接爬取資料會直接返回,爬取圖片需要處理成二進位制資料儲存成圖片格式(.jpg,.png等)的資料文字。
現在貼一個url=https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-001.jpg
請複製上面的url直接在某個瀏覽器開啟,你會看到如下內容:
這就是通過網頁訪問到的該網站的該圖片,於是我們可以直接利用requests模組,進行這個圖片的請求,於是這個網站便會返回給我們該圖片的資料,我們再把資料寫入本地檔案就行,比較簡單。
import requests headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} url='https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-001.jpg' re=requests.get(url,headers=headers) print(re.status_code)#檢視請求狀態,返回200說明正常 path='test.jpg'#檔案儲存地址 with open(path,'wb') as f:#把圖片資料寫入本地,wb表示二進位制儲存 for chunk in re.iter_content(chunk_size=128): f.write(chunk)
然後得到test.jpg圖片,如下
點選開啟檢視如下:
便是下載成功辣,很簡單吧。
現在分析下批量下載,我們將上面的程式碼打包成一個函式,於是針對每張圖片,單獨一個名字,單獨一個圖片檔案請求,於是有如下程式碼:
import requests def get_pictures(url,path): headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} re=requests.get(url,headers=headers) print(re.status_code)#檢視請求狀態,返回200說明正常 with open(path,'wb') as f:#把圖片資料寫入本地,wb表示二進位制儲存 for chunk in re.iter_content(chunk_size=128): f.write(chunk) url='https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-001.jpg' path='test.jpg'#檔案儲存地址 get_pictures(url,path)
現在要實現批量下載圖片,也就是批量獲得圖片的url,那麼我們就得分析網頁的程式碼結構,開啟原始網站https://www.ivsky.com/tupian/bianxingjingang_v622/,會看到如下的圖片:
於是我們需要分別得到該頁面中顯示的所有圖片的url,於是我們再次用requests模組返回當前該頁面的內容,如下:
import requests headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} url='https://www.ivsky.com/tupian/bianxingjingang_v622/' re=requests.get(url,headers=headers) print(re.text)
執行會返回當前該頁面的網頁結構內容,於是我們找到和圖片相關的也就是.jpg或者.png等圖片格式的字條,如下:
上面圈出來的**//img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-017.jpg**便是我們的圖片url,不過還需要前面加上https:,於是完成的url就是https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-017.jpg。
我們知道了這個結構,現在就是把這個提取出來,寫個簡單的解析式:
import requests headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,headers=headers) def get_pictures_urls(text): st='img src="' m=len(st) i=0 n=len(text) urls=[]#儲存url while i<n: if text[i:i+m]==st: url='' for j in range(i+m,n): if text[j]=='"': i=j urls.append(url) break url+=text[j] i+=1 return urls urls=get_pictures_urls(re.text) for url in urls: print(url)
列印結果如下:
得到了url,現在就直接放入一開始的get_pictures函式中,爬取圖片辣。
import requests def get_pictures(url,like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} re=requests.get(url,'wb') as f:#把圖片資料寫入本地,wb表示二進位制儲存 for chunk in re.iter_content(chunk_size=128): f.write(chunk) def get_pictures_urls(text): st='img src="' m=len(st) i=0 n=len(text) urls=[]#儲存url while i<n: if text[i:i+m]==st: url='' for j in range(i+m,n): if text[j]=='"': i=j urls.append(url) break url+=text[j] i+=1 return urls headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,headers=headers) urls=get_pictures_urls(re.text)#獲取當前頁面所有圖片的url for i in range(len(urls)):#批量爬取圖片 url='https:'+urls[i] path='變形金剛'+str(i)+'.jpg' get_pictures(url,path)
結果如下:
然後就完成辣,這裡只是簡單介紹下批量爬取圖片的過程,具體的網站需要具體分析,所以本文儘可能詳細的展示了批量爬取圖片的過程分析,希望對你的學習有所幫助,如有問題請及時指出,謝謝~
到此這篇關於Python 爬蟲批量爬取網頁圖片儲存到本地的文章就介紹到這了,更多相關Python 爬蟲爬取圖片儲存到本地內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們!