爬蟲自動登入訪同授權頁面
阿新 • • 發佈:2018-12-27
http.cookiejar模組
該模組主要的類有 Cookiejar,、 Filecookiejar、 MozillaCooklejar、 LwpCookiejar。這四個的作用分別如下
1.CookieJar:管理HTTPcookie值、儲存HTTP請求生成的cookie、向傳出的HTTP請求加cookies的物件,整個cookie都儲存在記憶體中,對 Cooklejar例項進行垃圾回收後cookie也將丟失
2. Filecookiejar( filename,delayload=None, policy=None):從 Cookiejar派生而來,用建立 File Cookiejars例項,檢索cookie資訊並將cookie儲存到檔案中, filename是儲存cookies的檔名, deadload為True時支援延遲訪問檔案,即只有在需要時讀取檔案或在檔案中存資料。
3 Mozilla Cookiejar( filename,delayload= None, policy=None):從Filecookiejar生來,建立與 Mozilla瀏覽器cookes.txt相容的FileCookieJar例項。
4. Lwpcookiejar( ( filename,deadload=None,policy=None):從 Filecookiejar派生而來,建立與 libwww-per標準的 Set-cookie3檔案格式相容的Filecookieja例項。
利用http.cookiejar和request.Httpcookieprocessor登入人人網。相關示例程式碼如下:
from urllib import request,parse from http.cookiejar import CookieJar headers = { 'User-Agent':'Mozilla/5.0 (windows NT 10.0; win64; x64) Applewekit/537.36 (KHTML,like Gecko) Chrome/62.0.3202.94' } def get_opener(): cookiejar = CookieJar() handler = request.HttpCookieProcessor(cookieJar) opener = request.build_opener(handler)