詳解如果用爬蟲程式批量採集淘寶好評資料
本文介紹如何使用后羿採集器的流程圖模式,免費採集淘寶商品評論中好評的資料。
採集欄位:
使用者、使用者等級、評價內容、評價圖片、評價時間及購買產品、追加評論、追加評論時間
功能點目錄:
什麼是行為元件
迴圈元件的功能點介紹
如何使用提取資料元件
如何實現翻頁功能
採集結果預覽:
匯出到Excel表格:
匯出到本地圖片:
下面我們來詳細介紹一下如何使用流程圖模式,採集淘寶商品評論中的好評資料,我們以故宮淘寶的迷你故宮小貓貓擺件的評論為例,具體步驟如下:
步驟一:下載安裝后羿採集器,並註冊登入
1、開啟后羿採集器官網,下載並安裝最新版的后羿採集器
2、點選註冊登入,註冊新賬號,登入后羿採集器
【溫馨提示】您可以直接使用此款爬蟲軟體,不需要進行註冊,但是匿名賬戶下的任務在切換到註冊使用者時會丟失,因此建議您註冊後使用。
后羿採集器為神箭手旗下產品,神箭手使用者可直接登入。
步驟二:新建採集任務
1、複製故宮淘寶迷你貓貓擺件的網頁地址(需要搜尋結果頁的網址,而不是首頁的網址)
2、新建流程圖模式採集任務
您可以在軟體上直接新建採集任務,也可以通過匯入規則來建立任務。
步驟三:配置採集規則
1、關閉登入介面
輸入網址後,我們進入淘寶寶貝的詳情頁,此時頁面上出現的登入介面我們可以點選關閉,不需要進行登入也能夠採集到評論資料。
2、點選好評
在詳情頁上可以看到評論數但是看不到具體的評論內容,我們需要點選評論,然後在左上角跳轉出來的提示框中選擇“點選該元素”。
進入到評論介面後,我們在網站上點選好評,然後在左上角跳轉出的提示框內選擇“點選該元素”,這樣我們就能跳轉到好評的介面了。
3、設定提取欄位資料
跳轉到評論介面後,我們點選網頁上的評論欄位,在左上角的操作提示框內選擇提取全部元素。
提取出評論列表頁上的欄位之後,我們可以右擊欄位進行相關設定,包括修改欄位名稱、增減欄位、處理資料等。
由於我們想要下載全部的評論圖片,因此可以選中評論中的全部圖片,然後設定欄位屬性—提取外部html。
我們需要採集評論內容、使用者名稱稱、評論釋出時間、評論圖片、追評及追評時間等資訊,欄位設定效果如下:
4、設定下一頁
我們採集出了單頁的評論資料,現在需要採集下一頁的資料,我們點選頁面上的“下一頁”按鈕,在左上角出現的操作提示框內選擇“迴圈點選下一頁”。
步驟四:設定並啟動採集任務
1、設定採集任務
完成了採集資料新增,我們可以開始啟動採集任務了。點選開始採集之後跳出工作列,工作列介面上有“更多設定”的按鈕,我們可以點選進行設定,也可以按照系統預設的設定。
點選“更多設定”按鈕,在彈出的執行設定頁面中我們可以進行執行設定和防遮蔽設定,我們設定“3”秒請求等待時間.
由於淘寶設定了一定的反爬,為了採集效果更好,我們可以開啟代理進行採集,可以設定定時切換代理,也可以設定遇到某文字時切換代理,這裡設定一個5分鐘切換一次的代理。
2、啟動採集任務
點選“儲存並啟動”按鈕,可在彈出的頁面中進行一些高階設定,包括定時啟動、自動入庫和下載圖片,我們勾選下載圖片到本地,選擇圖片下載地址之後,點選“啟動”執行爬蟲工具。
【溫馨提示】免費版本可以使用非週期性定時採集功能,下載圖片功能是免費的。個人專業版及以上版本可以使用高階定時功能和自動入庫功能。
3、執行任務提取資料
任務啟動之後便開始自動採集資料,我們從介面上可以直觀的看到程式執行過程和採集結果,採集結束之後會有提醒。
步驟五:匯出並檢視資料
資料採集完成後,我們可以檢視和匯出資料,后羿採集器支援多種匯出方式(手動匯出到本地、手動匯出到資料庫、自動釋出到資料庫、自動釋出到網站)和匯出檔案的格式(EXCEL、CSV、HTML和TXT),同時還支援匯出具體的條數,可以在資料中選擇想匯出的條數,然後點選“確認匯出”。
【溫馨提示】:所有手動匯出功能都是免費的。個人專業版及以上版本可以使用釋出到網站功能。