python爬蟲——模擬登入cookie與session
阿新 • • 發佈:2021-11-14
http/https協議特性:無狀態
沒有請求到對應頁面資料的原因:
發起的第二次基於個人主頁頁面請求的時候,伺服器端並不知道該此請求是基於登陸狀態下的請求。
cookie:用來讓伺服器端記錄客戶端的相關狀態。
—— 手動處理: 通過抓包工具獲取cookie值, 將該值封裝到headers中。(不建議)
—— 自動處理:
—— cookie值的來源是哪裡?
—— 模擬登入post請求後,由伺服器建立
—— session會話物件:
—— 作用:
1.可以進行請求的傳送
2.如果請求過程中產生了cookie,則該cookie會被自動儲存/攜帶在該session物件中
—— 建立一個session物件: session = requests.Session()
—— 使用session物件進行模擬登入post請求的傳送(cookie就會被儲存在session中)
—— session物件個人主頁對應的get請求進行傳送 (攜帶了cookie)