Python爬蟲之App爬蟲視訊下載的實現
前言
隨著手app的發展逐漸強大，我們手機應用每天的生活也是非常的多。那我們怎麼知道他的資料是怎麼形成的，通過電腦端如何爬取。相信大家也有這樣的問題。下面我將講解這些操作流程。
一、操作流程
首先我們要有
- fidder4
- 夜神模擬器
- pycharm
- python3.0或以上版本
二、fidder4抓包
1.fidder配置
首先我們先下載fidder，
開啟Fiddler，點選Tools => Options 開啟配置選項，切換到第二個標籤頁HTTPS，先在這裡打勾
然後就是點下面如圖所示的單選框，點選Actions，執行第一個Trust Root Certificate。後面會有一個框，記得點選確定。
開啟Fiddler，點選Tools => Options… 開啟配置選項，切換到第三個標籤頁Connections，修改如圖所示的地方，埠號可任意修改，這裡使用我自定的9999，請記住自己設定的埠號，後面有需要使用的地方。
2.模擬器配置
我們為什麼使用模擬器，因為由於Fidder抓包，要在區域網環境下，我們大部分電腦都是以寬頻連線，所以我這裡就以模擬器講解抓包，後續我會更新一期fidder手機抓包。
這裡們先打模擬器，設定模擬器的代理。我們先檢視自己的本機IP，通過cmd命令輸入ipconfig即可檢視本機的ip，我的本機IP是192.168.1.2
這裡開啟模擬器的設定，找到我們WLAN用點選，我們看到我們的wifi,用滑鼠點選時間長一點，它會出現設定的，下面我用視訊給大家看一下
我們本機ip進行代理哦
3.模擬器證書安裝
我們用模擬器開啟瀏覽器，輸入我們本機ip加埠，就是 192.168.1.2:9999
點選這個下載證書，下載完成後安裝證書，命名隨便命名。密碼自己要記入。
上述如果都做成功了，應該就沒什麼問題了。
三、fidder4解析視訊網站
這是我們模擬器裡的app，app名字我會在下面評論發出。
這裡的所和上面的正好相對應，這裡相信我們大家都找到了，
我們可以把fidder抓包到的資料在這裡，這個是我們的資料網址
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2
這裡就是第二頁的資料，這個時候就可以通過pycharm進行解析了。
pycharm編寫app程式碼
import requests
import json
def Demo(page):
url='https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'.format(page)
header={
'User-Agent':'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
}
response = requests.get(url,headers=header,verify=False).json()
data=response['content']['list'] #由於網站是json資料我們可以通過json解析，然後在進行資料的爬取
for i in data:
title =i['title'] #這裡爬取的是視訊標題
playurl=i['playurl'] #這裡是爬取是的視訊的url
Video(title,playurl)
def Video(title,playurl):
header = {
'User-Agent': 'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
}
response = requests.get(playurl,verify=False)
# 檔案寫入異常機制
try:
#由於寫入可以會有點出錯，我們要加一個異常處理機制，這樣可以提高我們的程式效能。
with open('VIdeo/{}.mp4'.format(title),'ab') as f:
f.write(response.content)
except Exception as e:
print(e)
for i in range(1,11):
Demo(i)
總結
以上就是今天要講的內容，本文簡單的對fidder配置與模擬器的證書安裝，通過fidder監視app傳輸的資料進行解析，我們知道此網址有分頁功能 ，最後我們通過pycharm編寫程式，這些操作看似繁鎖，其實看懂了，就很簡單。
到此這篇關於Python爬蟲之App爬蟲視訊下載的實現的文章就介紹到這了,更多相關Python App爬蟲視訊下載內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們！