1. 程式人生 > 程式設計 >Python使用Chrome外掛實現爬蟲過程圖解

Python使用Chrome外掛實現爬蟲過程圖解

做電商時,消費者對商品的評論是很重要的,但是不會寫程式碼怎麼辦?這裡有個Chrome外掛可以做到簡單的資料爬取,一句程式碼都不用寫。下面給大家展示部分抓取後的資料:

Python使用Chrome外掛實現爬蟲過程圖解

可以看到,抓取的地址,評論人,評論內容,時間,產品顏色都已經抓取下來了。那麼,爬取這些資料需要哪些工具呢?就兩個:

1. Chrome瀏覽器;

2. 外掛:Web Scraper

外掛下載地址:https://chromecj.com/productivity/2018-05/942.html

最後,如果你想自己動手抓取一下,這裡是這次抓取的詳細過程:

1. 首先,複製如下的程式碼,對,你不需要寫程式碼,但是為了便於上手,複製程式碼還是需要的,後續可以自己定製和選擇,不需要寫程式碼。

{
  "_id": "jdreview","startUrl": [
    "https://item.jd.com/100000680365.html#comment"
  ],"selectors": [
    {
      "id": "user","type": "SelectorText","selector": "div.user-info","parentSelectors": [
        "main"
      ],"multiple": false,"regex": "","delay": 0
    },{
      "id": "comments","selector": "div.comment-column > p.comment-con",{
      "id": "time","selector": "div.comment-message:nth-of-type(5) span:nth-of-type(4),div.order-info span:nth-of-type(4)","delay": "0"
    },{
      "id": "color","selector": "div.order-info span:nth-of-type(1)",{
      "id": "main","type": "SelectorElementClick","selector": "div.comment-item","parentSelectors": [
        "_root"
      ],"multiple": true,"delay": "10000","clickElementSelector": "div.com-table-footer a.ui-pager-next","clickType": "clickMore","discardInitialElements": false,"clickElementUniquenessType": "uniqueHTMLText"
    }
  ]
}

2. 然後開啟chrome瀏覽器,在任意頁面同時按下Ctrl+Shift+i,在彈出的視窗中找到Web Scraper,如下:

Python使用Chrome外掛實現爬蟲過程圖解

3. 如下

Python使用Chrome外掛實現爬蟲過程圖解

4. 如圖,貼上上述的程式碼:

Python使用Chrome外掛實現爬蟲過程圖解

5. 如圖,如果需要定製網址,注意替代一下,網址後面的#comment是直達評論的連結,不能去掉:

Python使用Chrome外掛實現爬蟲過程圖解

6. 如圖:

Python使用Chrome外掛實現爬蟲過程圖解

7. 如圖:

Python使用Chrome外掛實現爬蟲過程圖解

8. 如圖,點選Scrape後,會自動執行開啟需要抓取得頁面,不要關閉視窗,靜靜等待完成,完成後右下方會提示完成,一般1000條以內的評論不會有問題:

Python使用Chrome外掛實現爬蟲過程圖解

9. 最後,點選下載到電腦,資料儲存好。

Python使用Chrome外掛實現爬蟲過程圖解

使用這個工具的好處是:

1. 不需要程式設計;

2. 京東的評論基本可以通用此指令碼,修改對應的url即可;

3. 如果需要爬取的評論不到1000條,這個工具會非常稱手,所有的資料完全自動下載;

使用的注意點:

1. 抓取過一次的資料會有記錄,立刻再次抓取將不會儲存,建議關閉瀏覽器重新開啟後再試;

2. 抓取數量:1000條以內沒有問題,可能是京東按照IP直接阻止了更多的爬取;

如果你的英語水平不錯,可以嘗試閱讀官方文件,進一步學習和定製自己的爬蟲。

官方教程:https://www.webscraper.io/documentation

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。