使用python爬取抖音app視訊
記錄一下如何用python爬取app資料,本文以爬取抖音視訊app為例。
程式設計工具:pycharm
app抓包工具:mitmproxy
app自動化工具:appium
執行環境:windows10
思路:
假設已經配置好我們所需要的工具
1、使用mitmproxy對手機app抓包獲取我們想要的內容
2、利用appium自動化測試工具,驅動app模擬人的動作(滑動、點選等)
3、將1和2相結合達到自動化爬蟲的效果
一、mitmproxy/mitmdump抓包
確保已經安裝好了mitmproxy,並且手機和PC處於同一個區域網下,同時也配置好了mitmproxy的CA證書,網上有很多相關的配置教程,這裡我就略過了。
因為mitmproxy不支援windows系統,所以這裡用的是它的元件之一mitmdump,它是mitmproxy的命令列介面,可以利用它對接我們的Python指令碼,用Python實現監聽後的處理。
在配置好mitmproxy之後,在控制檯上輸入mitmdump並在手機上開啟抖音app,mitmdump會呈現手機上的所有請求,如下圖
可以在抖音app一直往下滑,看mitmdump所展示的請求,會發現字首分別為
http://v1-dy.ixigua.com/;http://v3-dy.ixigua.com/;http://v9-dy.ixigua.com/
這3個型別字首的url正是我們的目標抖音視訊url。
那接下來就要編寫python指令碼將視訊下載下來,需要使用 mitmdump -s scripts.py(此處為python檔名)來執行指令碼。
import requests # 檔案路徑 path = 'D:/video/' num = 1788 def response(flow): global num # 經測試發現視訊url字首主要是3個 target_urls = ['http://v1-dy.ixigua.com/', 'http://v9-dy.ixigua.com/', 'http://v3-dy.ixigua.com/'] for url in target_urls: # 過濾掉不需要的url if flow.request.url.startswith(url): # 設定視訊名 filename = path + str(num) + '.mp4' # 使用request獲取視訊url的內容 # stream=True作用是推遲下載響應體直到訪問Response.content屬性 res = requests.get(flow.request.url, stream=True) # 將視訊寫入資料夾 with open(filename, 'ab') as f: f.write(res.content) f.flush() print(filename + '下載完成') num += 1
程式碼寫得比較粗糙,不過基本的邏輯還是比較清晰的,這樣我們就可以把抖音的視訊下載下來,不過這個方法有個缺陷,就是獲取視訊需要人來不斷地滑動抖音的下一個視訊,這時候我們可以用一個強大的appium自動化測試工具來解決。
二、Appium對手機進行模擬操作
確保已經配置好appium所依賴的環境Android和SDK,網上也有許多教程,這裡我就不說了。
appium的用法很簡單,首先我們先開啟appium,啟動介面如下
點選Start Server按鈕即可啟動appium服務
將Android手機通過資料線與PC相連,同時開啟USE除錯功能,可以輸入adb命令(具體可以去網上查詢)測試連線情況,若出現以下結果,則說明連線成功
model是裝置名,後面配置需要用到。之後點選下圖箭頭所指的按鈕就會出現一個配置頁面
在右下角的JSON Representation配置啟動app的Desired Capabilities引數,分別是paltformName、deviceName、appPackage、appActivity。
platformName:平臺名稱,一般是Android或iOS.
deviceName:裝置名稱,手機的具體型別
appPackage:App程式包名
appActivity:入口Activity名,通常以.開頭
platformName和deviceName比較容易獲得,而appPackage和appActivity這兩個可以通過以下方法獲取到。
在控制檯上輸入 adb logcat>D:\log.log 命令,並且在手機開啟抖音app,然後在D盤中開啟log.log檔案,查詢Displayed關鍵字
由上圖可以知道Displayed後面的 com.ss.android.ugc.aweme對應的是appPackage,.main.MainActivity對應的是appActivity,最後我們的配置結果如下:
{ "platformName": "Android", "deviceName": "Mi_Note_3", "appPackage": "com.ss.android.ugc.aweme", "appActivity": ".main.MainActivity" }
再點選Start Session即可啟動Android手機上的抖音app並進入到啟動頁面,同時PC上會彈出一個除錯視窗,從這個視窗可以預覽當前手機頁面,還可以對手機模擬各種操作,在本文不是重點,所以略過。
在下面我們將使用python指令碼來驅動app,直接在pycharm執行即可
from appium import webdriver
from time import sleep
class Action():
def __init__(self):
# 初始化配置,設定Desired Capabilities引數
self.desired_caps = {
"platformName": "Android",
"deviceName": "Mi_Note_3",
"appPackage": "com.ss.android.ugc.aweme",
"appActivity": ".main.MainActivity"
}
# 指定Appium Server
self.server = 'http://localhost:4723/wd/hub'
# 新建一個Session
self.driver = webdriver.Remote(self.server, self.desired_caps)
# 設定滑動初始座標和滑動距離
self.start_x = 500
self.start_y = 1500
self.distance = 1300
def comments(self):
sleep(2)
# app開啟之後點選一次螢幕,確保頁面的展示
self.driver.tap([(500, 1200)], 500)
def scroll(self):
# 無限滑動
while True:
# 模擬滑動
self.driver.swipe(self.start_x, self.start_y, self.start_x,
self.start_y-self.distance)
# 設定延時等待
sleep(2)
def main(self):
self.comments()
self.scroll()
if __name__ == '__main__':
action = Action()
action.main()
下面是爬蟲的過程。ps:偶爾會爬取到重複的視訊