1. 程式人生 > >爬蟲的Chrome插件推薦

爬蟲的Chrome插件推薦

爬蟲 xpath json python爬蟲

【1】Toggle JavaScript

這個插件可以幫助我們快速直觀地檢測網頁裏哪些信息是通過AJAX異步加載而來的,具體怎麽用,下面會詳細講解。
chrome商店下載地址:https://chrome.google.com/webstore/detail/toggle-javascript/cidlcjdalomndpeagkjpnefhljffbnlo?utm_source=chrome-app-launcher-info-dialog
(Ps:打不的小夥伴自行百度搜索國內提供chrome插件下載的網站離線安裝)

【2】JSON-handle

這個插件可以幫我們格式化Json串,從而讓我們以一個更友好的方式查看Json內的信息。 chrome商店下載地址:https://chrome.google.com/webstore/detail/json-handle/iahnhfdhidomcpggpaimmmahffihkfnj

(Ps:打不的小夥伴自行百度搜索國內提供chrome插件下載的網站離線安裝)


【3】User-Agent Switcher

  1. 解讀:
    上篇解讀爬蟲中HTTP的秘密(基礎篇)我們介紹了請求頭,而這個工具就是針對請求頭中的User-Agent字段的。它的作用是可以隨意更換瀏覽器的User-Agent。
    比如,你用Chrome瀏覽器瀏覽網頁,瀏覽器默認身份是Chrome,但是你可以通過這個工具更換成其它任何身份。
    這個最大的好處就是可以直接更換成手機身份瀏覽網頁,而不必用開發者工具來回切換。
  2. 使用說明:
    使用Chrome瀏覽器安裝插件,點開圖標,選擇你需要的身份即可。

【4】Xpath-Helper

  1. 解讀:
    針對Xpath解析方法,Xpath-Helper可提供當前網頁指定Xpath語句的查詢結果。
  2. 使用說明:
    點開圖標,出現黑色框框。

QUERY:Xpath語句
RESULTS:查詢結果

1 .開發者工具找到源碼相應位置,右鍵copy xpath

2 .復制到QUERY裏面,結果自動出來

註:Xpath-Helper小工具安裝後需要重啟Chrome方可使用,請大家註意一下這個坑。

爬蟲的Chrome插件推薦