1. 程式人生 > >如何用Python快速爬取B站全站視訊資訊

如何用Python快速爬取B站全站視訊資訊

B站

B站我想大家都熟悉吧,其實 B 站的爬蟲網上一搜一大堆。不過紙上得來終覺淺,絕知此事要躬行,我碼故我在。最終爬取到資料總量為 760萬 條。

準備工作

首先開啟 B 站,隨便在首頁找一個視訊點選進去。常規操作,開啟開發者工具。這次是目標是通過爬取 B 站提供的 api 來獲取視訊資訊,不去解析網頁,解析網頁的速度太慢了而且容易被封 ip。

勾選 JS 選項,F5 重新整理

B站

找到了 api 的地址

複製下來,去除沒必要的內容,得到https://api.bilibili.com/x/web-interface/archive/stat?aid=15906633,用瀏覽器開啟,會得到如下的 json 資料

 資料

動手寫碼

好了,到這裡程式碼就可以碼起來了,通過 request 不斷的迭代獲取資料,為了讓爬蟲更高效,可以利用多執行緒。

核心程式碼

程式碼

迭代爬取

程式碼

整個專案的最主要部分的程式碼也就是 20 行左右,挺簡潔的。

執行的效果大概是這樣的,數字是已經已經爬取了多少條連結,其實完全可以在一天或者兩天內就把全站資訊爬完的。

至於爬取後要怎麼處理就看自己愛好了,我是先儲存為 csv 檔案,然後再彙總插入到資料庫。

資料庫表

資料庫

由於這些內容是我在幾個月前爬取的,所以資料其實有些滯後了。

資料總量

資料

查詢播放量前十的視訊

查詢回覆量前十的視訊

各種花樣查詢任君選擇!!視訊的連結為https://www.bilibili.com/video/av+ v_aid
詳細程式碼請移步至 bili.py,專案地址:chenjiandongx/bili-spider 歡迎圍觀

作者:陳建冬

原文來自微信公眾號:Python中文社群