python模擬登入微博網站利用urllib2 和 cookie
阿新 • • 發佈:2019-01-23
方法還有待改進,前期需手動操作,待後續更新。。。
setting:
(1)在位址列獲取url
1.從瀏覽器中獲取要登入網站cookie
例如 chrome,步驟如下:setting:
dvanced:
contentSetting:
all cookies and site data:
search sinalogin cookie and url:
2.通過 chrome 的 Developer Tools (key F12)除錯登陸成功的微博主頁,然後用裡面的訪問記錄,找到會話期間的cookie
open your sina homepage press 'F12' get into the debug model(1)在位址列獲取url
(2)然後像圖中一樣獲取session期間的cookie
3.通過python的urllib2結合剛剛找到的cookie訪問你的微博主頁面
點選(此處)摺疊或開啟
- import urllib2
- import urllib
- import sys
- import re
- url = 'your url'
- headers = {'cookie':'your cookie'}
- req = urllib2.Request(url, headers=headers)
- r = urllib2.urlopen(req)
- htmlcont = r.read()
- print htmlcont
- f = open('htmlcode',
'w')
- f.write(htmlcont)
- f.
通過上面的步驟獲得了登陸成功頁面的HTML程式碼,可通過瀏覽器開啟,也可通過像selenium一樣的工具包進行動態網頁解析,提取網頁內容。