1. 程式人生 > >python爬蟲+使用cookie登錄豆瓣

python爬蟲+使用cookie登錄豆瓣

豆瓣 .get ont size 時裝 原創 www. text 檢查


2017-10-09 19:06:22

版權聲明:本文為博主原創文章,未經博主允許不得轉載。

前言:

先獲得cookie,然後自動登錄豆瓣和新浪微博

系統環境:

64位win10系統,同時裝python2.7和python3.6兩個版本(本次使用python3.6),IDE為pycharm,瀏覽器為chorme,使用的python第三方庫為requests

查看cookie:

首先登陸豆瓣首頁,並且登錄賬戶(註意練習爬蟲時最好用小號),右鍵檢查,點擊Network,然後按Fn+F5刷新頁面,點擊最上面的www.douban.com選項,即可找到cookie信息

技術分享

登錄:

復制cookie到如下代碼中:

import requests

headers = {User-Agent: ‘‘}
cookies = {cookie: ‘‘}
url = http://www.douban.com
r = requests.get(url, cookies = cookies, headers = headers)
with open(douban_2.txt, wb+) as f:
    f.write(r.content)

註意:User-Agent也用如上方式獲取並復制到代碼中

運行代碼,即可在腳本文件目錄下找到"douban_2.txt"的text文件,裏面是豆瓣登錄主頁的源代碼。

python爬蟲+使用cookie登錄豆瓣