python爬蟲+使用cookie登錄豆瓣
阿新 • • 發佈:2017-10-09
豆瓣 .get ont size 時裝 原創 www. text 檢查
2017-10-09 19:06:22
版權聲明:本文為博主原創文章,未經博主允許不得轉載。
前言:
先獲得cookie,然後自動登錄豆瓣和新浪微博
系統環境:
64位win10系統,同時裝python2.7和python3.6兩個版本(本次使用python3.6),IDE為pycharm,瀏覽器為chorme,使用的python第三方庫為requests
查看cookie:
首先登陸豆瓣首頁,並且登錄賬戶(註意練習爬蟲時最好用小號),右鍵檢查,點擊Network,然後按Fn+F5刷新頁面,點擊最上面的www.douban.com選項,即可找到cookie信息
登錄:
復制cookie到如下代碼中:
import requests headers = {‘User-Agent‘: ‘‘} cookies = {‘cookie‘: ‘‘} url = ‘http://www.douban.com‘ r = requests.get(url, cookies = cookies, headers = headers) with open(‘douban_2.txt‘, ‘wb+‘) as f: f.write(r.content)
註意:User-Agent也用如上方式獲取並復制到代碼中
運行代碼,即可在腳本文件目錄下找到"douban_2.txt"的text文件,裏面是豆瓣登錄主頁的源代碼。
python爬蟲+使用cookie登錄豆瓣