1. 程式人生 > >使用browsercookie來管理瀏覽器cookies

使用browsercookie來管理瀏覽器cookies

處理cookie是很繁瑣的一件事情,稍微有一點處理不對的話,就不能訪問網站,最好的辦法就是能操作瀏覽器cookie,這樣是最真實的,在Python中有一個第三方庫:

browsercookie就是來解決這件事情的。

 

 

由於http協議的無狀態性,登入驗證都是通過傳遞cookies來實現的。通過瀏覽器登入一次,登入資訊的cookie是就會被瀏覽器儲存下來。下次再開啟該網站時,瀏覽器自動帶上儲存的cookies,只有cookies還未過期,對於網站來說你就還是登入狀態的。

browsercookie模組就是這樣一個從瀏覽器提取儲存的cookies的工具。它是一個很有用的爬蟲工具,通過載入你瀏覽器的cookies到一個cookiejar物件裡面,讓你輕鬆下載需要登入的網頁內容。

 

安裝

pip install browsercookie

 

在Windows系統中,內建的sqlite模組在載入FireFox資料庫時會丟擲錯誤。需要更新sqlite的版本:

pip install pysqlite

使用方法

 

下面是從網頁提取標題的例子:

>>> import re

>>> get_title = lambda html: re.findall('<title>(.*?)</title>', html, flags=re.DOTALL)[0].strip()

  

下面是未登入狀況下下載得到的標題:

>>> import urllib2

>>> url = 'https://bitbucket.org/'

>>> public_html = urllib2.urlopen(url).read()

>>> get_title(public_html)

'Git and Mercurial code management for teams'

  

接下來使用browsercookie從登入過Bitbucket的FireFox裡面獲取cookie再下載:

>>> import browsercookie

>>> cj = browsercookie.firefox()

>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

>>> login_html = opener.open(url).read()

>>> get_title(login_html)

'richardpenman / home — Bitbucket'

 

上面是Python2的程式碼,再試試 Python3:

 

>>> import urllib.request

>>> public_html = urllib.request.urlopen(url).read()

>>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

  

你可以看到你的使用者名稱出現在title裡面了,說明browsercookie模組成功從FireFox載入了cookies。

下面是使用requests的例子,這次我們從Chrome裡面載入cookies,當然你需要事先用Chrome登入Bitbucket:

 

>>> import requests

>>> cj = browsercookie.chrome()

>>> r = requests.get(url, cookies=cj)

>>> get_title(r.content)

'richardpenman / home — Bitbucket'

  

如果你不知道或不關心那個瀏覽器有你需要的cookies,你可以這樣操作:

>>> cj = browsercookie.load()

>>> r = requests.get(url, cookies=cj)

>>> get_title(r.content)

'richardpenman / home — Bitbucket'

支援

 

很多用Python的人可能都寫過網路爬蟲,自動化獲取網路資料確實是一件令人愉悅的事情,而Python很好的幫助我們達到這種愉悅。然而,爬蟲經常要碰到各種登入、驗證的阻撓,讓人灰心喪氣(網站:天天碰到各種各樣的爬蟲抓我們網站,也很讓人灰心喪氣~)。爬蟲和反爬蟲就是一個貓和老鼠的遊戲,道高一尺魔高一丈,兩者反覆糾纏。

由於http協議的無狀態性,登入驗證都是通過傳遞cookies來實現的。通過瀏覽器登入一次,登入資訊的cookie是就會被瀏覽器儲存下來。下次再開啟該網站時,瀏覽器自動帶上儲存的cookies,只有cookies還未過期,對於網站來說你就還是登入狀態的。

browsercookie模組就是這樣一個從瀏覽器提取儲存的cookies的工具。它是一個很有用的爬蟲工具,通過載入你瀏覽器的cookies到一個cookiejar物件裡面,讓你輕鬆下載需要登入的網頁內容。

安裝

pip install browsercookie

在Windows系統中,內建的sqlite模組在載入FireFox資料庫時會丟擲錯誤。需要更新sqlite的版本:
pip install pysqlite

使用方法

下面是從網頁提取標題的例子:


>>> import re
>>> get_title = lambda html: re.findall('<title>(.*?)</title>', html, flags=re.DOTALL)[0].strip()

下面是未登入狀況下下載得到的標題:


>>> import urllib2
>>> url = 'https://bitbucket.org/'
>>> public_html = urllib2.urlopen(url).read()
>>> get_title(public_html)
'Git and Mercurial code management for teams'

接下來使用browsercookie從登入過Bitbucket的FireFox裡面獲取cookie再下載:


>>> import browsercookie
>>> cj = browsercookie.firefox()
>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
>>> login_html = opener.open(url).read()
>>> get_title(login_html)
'richardpenman / home &mdash; Bitbucket'

上面是Python2的程式碼,再試試 Python3:


>>> import urllib.request
>>> public_html = urllib.request.urlopen(url).read()
>>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

你可以看到你的使用者名稱出現在title裡面了,說明browsercookie模組成功從FireFox載入了cookies。

下面是使用requests的例子,這次我們從Chrome裡面載入cookies,當然你需要事先用Chrome登入Bitbucket:


>>> import requests
>>> cj = browsercookie.chrome()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home &mdash; Bitbucket'

如果你不知道或不關心那個瀏覽器有你需要的cookies,你可以這樣操作:


>>> cj = browsercookie.load()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home &mdash; Bitbucket'

 

來自 https://www.yuanrenxue.com/crawler/get-login-cookies-browsercookie.html 的學習筆記