Python批量爬取糗事百科短視訊,有意思的視訊還是蠻多的
阿新 • • 發佈:2020-10-21
前言
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理
本次目標
爬取糗事百科視訊
地址
https://www.qiushibaike.com/video/
環境
Python3.6
pycharm
分析網頁獲取視訊真實地址
1、滑鼠右鍵點選檢查,可以看到網頁中是有視訊地址~
2、滑鼠右鍵點選檢視原始碼,搜尋視訊地址檢視網頁原始碼是否也有視訊地址
糗事百科是一個靜態網頁,對於爬取網站視訊還是比較簡單的~
爬蟲程式碼
匯入工具
import requests import re import time
請求網站
url = 'https://www.qiushibaike.com/video/page/{}/'.format(page) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } response = requests.get(url=url, headers=headers)
解析網站
for li in lis: video_url = 'https:' + li title = li.split('/')[-1] download(video_url, title)
儲存資料
def download(url, title): path = '儲存資料地址' + title response = requests.get(url=url) with open(path, mode='wb') as f: f.write(response.content)
執行程式碼,結果如下圖