1. 程式人生 > >Jmeter(三十五)_精確實現網頁爬蟲

Jmeter(三十五)_精確實現網頁爬蟲

meter實現了一個網站文章的爬蟲,可以把所有文章分類儲存到本地檔案中,並以文章標題命名

它原理就是對網頁提交一個請求,然後把返回的所有值提取出來,利用ForEach控制器去實現遍歷。下面來介紹一下如何操作。

首先我們需要對網頁提交一個請求。我們對一個站點發起一個請求,觀察一下返回值可以發現中間有很多中文title,這些title都是href標籤,他們作為超連結可以跳轉到正文

 

我們用xpath提取器獲取這些href的title,並且用-1提取全部

 

 

用foreach控制器遍歷提取的title,並傳參

 

 

 

通過beanshell指令碼將遍歷提取的title儲存到本地檔案,檔案儲存為title.csv

 

 

用matchNr函式獲取返回的title總數,作為後續csv提取器的迴圈次數

 

 

 

在迴圈控制器下,用csv提取器從之前儲存到本地的title.csv中迴圈讀取title,並作為引數傳遞到後續介面的url中

 

 

 

迴圈控制器下,通過csv傳參,迴圈觸發url

 

 

 

迴圈觸發url之後,用xpath表示式從url中提取出文字,傳遞變數為text

 

 

 

迴圈控制器下,通過foreach控制器遍歷之前的提取的text,儲存到本地檔案。檔名用遍歷獲取的title依次命名建立

 

 

 

注:難點在於,需要按照超連結的標題建立本地檔案,並把超連結之後的文字正確儲存到檔案之中

 

 

 

你還在為找不到可練習的介面而煩惱嗎?現在加入龍淵閣,我們手把手教你搭建屬於自己的介面測試環境!

點選這裡進入史上最具活力的測試交流平臺