1. 程式人生 > >python模擬登入微博網站利用urllib2 和 cookie

python模擬登入微博網站利用urllib2 和 cookie

方法還有待改進,前期需手動操作,待後續更新。。。

1.從瀏覽器中獲取要登入網站cookie

    例如 chrome,步驟如下:
    setting:

   dvanced:


    contentSetting:



    all cookies and site data:



    search sinalogin cookie and url:


2.通過 chrome 的 Developer Tools (key F12)除錯登陸成功的微博主頁,然後用裡面的訪問記錄,找到會話期間的cookie

open your sina homepage  press 'F12' get into the debug model
    (1)在位址列獲取url

    (2)然後像圖中一樣獲取session期間的cookie


3.通過python的urllib2結合剛剛找到的cookie訪問你的微博主頁面

點選(此處)摺疊或開啟

  1. import urllib2
  2. import urllib
  3. import sys
  4. import re
  5. url = 'your url'
  6. headers = {'cookie':'your cookie'}
  7. req = urllib2.Request(url, headers=headers)
  8. r = urllib2.urlopen(req)
  9. htmlcont = r.read()
  10. print htmlcont
  11. f = open('htmlcode', 'w')
  12. f.write(htmlcont)
  13. f.
    close()

通過上面的步驟獲得了登陸成功頁面的HTML程式碼,可通過瀏覽器開啟,也可通過像selenium一樣的工具包進行動態網頁解析,提取網頁內容。