Jmeter(三十五)_精確實現網頁爬蟲
阿新 • • 發佈:2018-11-09
meter實現了一個網站文章的爬蟲,可以把所有文章分類儲存到本地檔案中,並以文章標題命名
它原理就是對網頁提交一個請求,然後把返回的所有值提取出來,利用ForEach控制器去實現遍歷。下面來介紹一下如何操作。
首先我們需要對網頁提交一個請求。我們對一個站點發起一個請求,觀察一下返回值可以發現中間有很多中文title,這些title都是href標籤,他們作為超連結可以跳轉到正文
我們用xpath提取器獲取這些href的title,並且用-1提取全部
用foreach控制器遍歷提取的title,並傳參
通過beanshell指令碼將遍歷提取的title儲存到本地檔案,檔案儲存為title.csv
用matchNr函式獲取返回的title總數,作為後續csv提取器的迴圈次數
在迴圈控制器下,用csv提取器從之前儲存到本地的title.csv中迴圈讀取title,並作為引數傳遞到後續介面的url中
迴圈控制器下,通過csv傳參,迴圈觸發url
迴圈觸發url之後,用xpath表示式從url中提取出文字,傳遞變數為text
迴圈控制器下,通過foreach控制器遍歷之前的提取的text,儲存到本地檔案。檔名用遍歷獲取的title依次命名建立
注:難點在於,需要按照超連結的標題建立本地檔案,並把超連結之後的文字正確儲存到檔案之中
你還在為找不到可練習的介面而煩惱嗎?現在加入龍淵閣,我們手把手教你搭建屬於自己的介面測試環境!