前言

當需要進行大規模查詢時（比如目前遇到的情形：查詢某個省所有發債企業的YY評級分數），人工查詢顯然太過費時，那就寫個爬蟲吧。

由於該爬蟲實在過於簡單，就只簡單概述下。

一、請求端

通過觀察YY評級的網頁資訊，如下圖（F12或右擊進入檢查，點選network—>XHR—>headers）。

紅色框表明是個get請求（其實這種網頁基本都是Ajax get，需要總結實際url的規律的）。

綠色框即為實際URL，通過分析該URL，其由兩部分組成。前半部分為“
https://web.ratingdog.cn/v1/search?”，後半部分為黃色框內內容用“&”符號連線後的結果。黃色框內的內容，只有企業名稱為變數，且為已知變數，那URL即可據此確定了。

另外需注意，YY評級需要登入才可查詢資料，在構建頭部資訊進行訪問時，一定要提前登入，並在頭部資訊中放入登入資訊和登入狀態。

二、響應端

通過觀察網頁的響應資訊（F12或右擊進入檢查，點選network—>XHR—>response），如下圖。響應資訊及其簡單，我們所需要的YY評級分數安詳地躺在那裡，簡單到一個正則表示式就可以提取出該資料。正則如下：

"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"

三、程式碼

所需資料較少，程式碼相對簡單，就不建立函數了，直接一路到底吧。如下：

執行程式碼後，得到結果如下。安徽省的100多條資料，就到了本地了

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。