1. 程式人生 > >(乾貨)用爬蟲批量採集ACFUN視屏資料

(乾貨)用爬蟲批量採集ACFUN視屏資料

採集欄位:

動畫名稱 動畫連結 UP主 播放量 彈幕數 評論數 釋出時間 收藏數 投蕉數 簡介

功能點目錄:

如何對採集欄位進行配置

如何採集列表+詳情頁型別網頁

什麼是深入採集

採集結果預覽:

下面我們來詳細介紹一下如何免費採集AcFun彈幕視訊網的視訊資料,我們以劇場動畫為例,具體步驟如下:

步驟一:下載安裝后羿採集器,並註冊登入

1、開啟后羿採集器官網,下載並安裝最新版的后羿採集器

2、點選註冊登入,註冊新賬號,登入后羿採集器

【溫馨提示】您可以直接使用此款爬蟲軟體,不需要進行註冊,但是匿名賬戶下的任務在切換到註冊使用者時會丟失,因此建議您註冊後使用。

后羿採集器為神箭手旗下產品,神箭手使用者可直接登入。

步驟二:新建採集任務

1、複製AcFun劇場動畫的網頁地址(需要搜尋結果頁的網址,而不是首頁的網址)

點此瞭解關於如何正確地輸入網址。

2、新建智慧模式採集任務

您可以在軟體上直接新建採集任務,也可以通過匯入規則來建立任務。

點此瞭解如何匯入和匯出採集規則。

步驟三:配置採集規則

1、設定提取資料欄位

在智慧模式下,我們輸入網址後軟體即可自動識別出頁面上的資料並生成採集結果,每一類資料對應一個採集欄位,我們可以右擊欄位進行相關設定,包括修改欄位名稱、增減欄位、處理資料等。

點此瞭解如何對採集欄位進行配置。

我們需要採集動畫名稱、動畫連結、up主、播放量及彈幕數等資訊,欄位設定效果如下:

2、使用深入採集功能提取詳情頁資料

在列表頁上展示出了動畫的部分資訊,如果需要採集更詳細的資訊的話,我們需要右擊動畫連結使用“深入採集”功能,跳轉到詳情頁進行採集。

點此瞭解如何採集列表+詳情頁型別網頁。

在詳情頁上我們看到了動畫的釋出時間、收藏數、評論數、簡介等資訊,我們點選新增欄位,欄位設定效果如下:

步驟四:設定並啟動採集任務

1、設定採集任務

完成了採集資料新增,我們可以開始啟動採集任務了。點選開始採集之後跳出工作列,工作列介面上有“更多設定”的按鈕,我們可以點選進行設定,也可以按照系統預設的設定。

點選“更多設定”按鈕,在彈出的執行設定頁面中我們可以進行執行設定和防遮蔽設定,系統預設設定“2”秒請求等待時間,防遮蔽設定就按照系統預設設定,然後點選儲存。

2、啟動採集任務

點選“儲存並啟動”按鈕,可在彈出的頁面中進行一些高階設定,包括定時啟動、自動入庫和下載圖片,本次示例中未使用到這些功能,直接點選“啟動”執行爬蟲工具。

點此深入瞭解什麼是定時採集。

點此深入瞭解什麼是自動入庫。

點此深入瞭解如何下載圖片。

【溫馨提示】免費版本可以使用非週期性定時採集功能,下載圖片功能是免費的。個人專業版及以上版本可以使用高階定時功能和自動入庫功能。

3、執行任務提取資料

任務啟動之後便開始自動採集資料,我們從介面上可以直觀的看到程式執行過程和採集結果,採集結束之後會有提醒。

步驟五:匯出並檢視資料

資料採集完成後,我們可以檢視和匯出資料,后羿採集器支援多種匯出方式(手動匯出到本地、手動匯出到資料庫、自動釋出到資料庫、自動釋出到網站)和匯出檔案的格式(EXCEL、CSV、HTML和TXT),我們選擇自己需要方式和檔案型別,點選“確認匯出”。

點此深入瞭解如何檢視和清空採集資料。

點此深入瞭解如何匯出採集結果。

【溫馨提示】:所有手動匯出功能都是免費的。個人專業版及以上版本可以使用釋出到網站功能。

 

再為您推薦幾個相關的採集教程:

如何免費採集西瓜視訊資訊資料

如何免費採集騰訊視訊播放量資料

如何免費採集嗶哩嗶哩視訊資料