1. 程式人生 > 其它 >python爬蟲——模擬登入cookie與session

python爬蟲——模擬登入cookie與session

http/https協議特性:無狀態

沒有請求到對應頁面資料的原因:

  發起的第二次基於個人主頁頁面請求的時候,伺服器端並不知道該此請求是基於登陸狀態下的請求。

cookie:用來讓伺服器端記錄客戶端的相關狀態。

  —— 手動處理: 通過抓包工具獲取cookie值, 將該值封裝到headers中。(不建議)

  —— 自動處理:

    —— cookie值的來源是哪裡?

      —— 模擬登入post請求後,由伺服器建立

    —— session會話物件:

      —— 作用:

        1.可以進行請求的傳送

        2.如果請求過程中產生了cookie,則該cookie會被自動儲存/攜帶在該session物件中

    —— 建立一個session物件: session = requests.Session()

    —— 使用session物件進行模擬登入post請求的傳送(cookie就會被儲存在session中)

    —— session物件個人主頁對應的get請求進行傳送 (攜帶了cookie)