1. 程式人生 > 其它 >Python網路爬蟲中重新請求,請問有什麼比較好的解決方法?

Python網路爬蟲中重新請求,請問有什麼比較好的解決方法?

大家好,我是皮皮。

一、前言

前幾天在Python鑽石群有個叫【某嘟】的粉絲問了一個關於Python網路爬蟲中重新請求的問題,這裡拿出來給大家分享下,一起學習。

二、解決過程

這裡【D I Y】大佬給了一個思路,確實可行。

不過後來她自己又找到了一個更好的方法,找到一個HTTPAdapter可以實現超時重試,大概用法如下:

from requests.adapters import HTTPAdapter
req = requests.Session()
req.mount('https://', HTTPAdapter(max_retries=3))
response = req.get("

https://weibo.com/ajax/statuses/hot_band", timeout=10)
最後判斷資料 len(hot_dict.get("content")) == 50
大概是可以的。

當時看到這裡,也想起來前幾天【瑜亮老師】分享的那個題目,關於Python網路爬蟲請求的時候,大檔案的抓取判斷。之前也寫過文章分享,這裡就不再贅述了,感興趣的小夥伴,可以前往:

三、總結

大家好,我是皮皮。這篇文章基於粉絲提問,針對Python網路爬蟲中重新請求的問題,給出了具體說明和演示,文章提出了兩個解決思路,順利地幫助粉絲解決了問題!

最後感謝粉絲【某嘟】提問,感謝【某嘟】、【D I Y】大佬給出的程式碼和思路支援,感謝粉絲【PI】、【德善堂小兒推拿-瑜亮老師】等人積極參與學習交流。

小夥伴們,快快用實踐一下吧!如果在學習過程中,有遇到任何問題,歡迎加我好友,我拉你進Python學習交流群共同探討學習。