1. 程式人生 > >Python爬蟲--使用cookies登入豆瓣網

Python爬蟲--使用cookies登入豆瓣網

用python做網路爬蟲時,有時需要登入某些網站。
例如使用requests請求登入豆瓣網的時候需要輸入使用者密碼,可能還需要輸入驗證碼,比較麻煩。
現在在請求豆瓣網連結www.douban.com的時候,使用post加上cookies,可以不用輸入賬號和密碼直接登入。

方法如下:
開啟瀏覽器,開啟豆瓣的主頁,按下鍵盤上的F12鍵(開啟瀏覽器的開發者工具),此時輸入賬號和密碼登入豆瓣網。檢視開發者工具中請求登入時的cookies資訊,如圖:
這裡寫圖片描述
把右側Cookies對應的內容儲存下來。

下面使用python程式登入豆瓣:

import requests

headers = {'User-Agent'
: 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'} cookies = {'cookie': 'xxx'} #xxx是剛才儲存的cookies資訊,貼上在這裡 url = 'https://www.douban.com' r = requests.get(url, cookies = cookies, headers = headers) with open('douban.txt', 'wb+') as f: f.write(r.content) #把登陸主頁後返回的資料儲存到檔案中

檢視douban.txt檔案,如果檔案中”xxx的帳號”, xxx是你豆瓣的賬號名,即為登入成功。