【Python爬蟲】太刺激了!本來只想爬個視訊的,誰知自己淪陷進去了(附原始碼)
阿新 • • 發佈:2021-10-14
知識點
- 爬蟲基本流程
- re正則表示式簡單使用
- requests
- json資料解析方法
- 視訊資料儲存
開發環境
- Python 3.8
- Pycharm
爬蟲基本思路流程: (重點) [無論任何網站 任何資料內容 都是按照這個流程去分析]
-
確定需求 (爬取的內容是什麼東西?)
都通過開發者工具進行抓包分析
分析視訊播放url地址 是可以從哪裡獲取到
如果我們想要的資料內容 是 音訊資料/視訊資料 (media)
雖然說知道視訊播放地址, 但是我們還需要知道這個播放地址 可以從什麼地方獲取 -
傳送請求, 用python程式碼模擬瀏覽器對於目標地址傳送請求
-
獲取資料, 獲取伺服器給我們返回的資料內容
-
解析資料, 提取我們想要資料內容, 視訊標題/視訊url地址
-
儲存資料
【付費VIP完整版】只要看了就能學會的教程,80集Python基礎入門視訊教學
爬取內容
今天要爬取的目標就是這個
分析目標url
先開啟一個視訊,檢視id
開啟開發者工具,查詢
拿到目標url
對於本篇文章有疑問的同學可以加【資料白嫖、解答交流群:1039649593】
開始程式碼
最開始還是線匯入所需模組
import requests # 資料請求模組 pip install requests (第三方模組) import pprint #格式化輸出模組 內建模組 不需要安裝 import re # 正則表示式 import json
資料請求
def get_response(html_url): # 用python程式碼模擬瀏覽器 # headers 把python程式碼進行偽裝 # user-agent 瀏覽器的基本標識 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36' } # 用程式碼直接獲取的 一般大多數都是直接 cookie response = requests.get(url=html_url, headers=headers) return response
獲取視訊標題以及url地址
def get_video_info(video_id): html_url = f'https://liveapi.huya.com/moment/getMomentContent?videoId={video_id}&uid=&_=1634127164373' response = get_response(html_url) title = response.json()['data']['moment']['title'] # 視訊標題 video_url = response.json()['data']['moment']['videoInfo']['definitions'][0]['url'] video_info = [title, video_url] return video_info
獲取視訊id
def get_video_id(html_url): html_data = get_response(html_url).text result = re.findall('<script> window.HNF_GLOBAL_INIT = (.*?) </script>', html_data)[0] # 需要把獲取的字串資料, 轉成json字典資料 json_data = json.loads(result)['videoData']['videoDataList']['value'] # json_data 列表 裡面元素是字典 # print(json_data) video_ids = [i['vid'] for i in json_data] # 列表推導式 # lis = [] # for i in json_data: # lis.append(i['vid']) # print(video_ids) # print(type(json_data)) return video_ids # 目光所至 我皆可爬 def main(html): video_ids = get_video_id(html_url=html) for video_id in video_ids: video_info = get_video_info(video_id) save(video_info[0], video_info[1])
儲存資料
def save(title, video_url): # 儲存資料, 也是還需要對於播放地址傳送請求的 # response.content 獲取響應的二進位制資料 video_content = get_response(html_url=video_url).content new_title = re.sub(r'[\/:*?"<>|]', '_', title) # 'video\\' + title + '.mp4' 資料夾路徑以及檔名字 mode 儲存方式 wb二進位制儲存方式 with open('video\\' + new_title + '.mp4', mode='wb') as f: f.write(video_content) print('儲存成功: ', title)
呼叫函式
if __name__ == '__main__': # get_video_info('589462235') video_info = get_video_info('589462235') save(video_info[0], video_info[1]) for page in range(1, 6): print(f'正在爬取第{page}頁的資料內容') # python基礎入門課程 第一節課 講解的知識點 字串格式化方法 url = f'https://v.huya.com/g/all?set_id=31&order=hot&page={page}' main(url)