1. 程式人生 > >爬蟲自動登入訪同授權頁面

爬蟲自動登入訪同授權頁面

http.cookiejar模組
該模組主要的類有 Cookiejar,、 Filecookiejar、 MozillaCooklejar、 LwpCookiejar。這四個的作用分別如下
1.CookieJar:管理HTTPcookie值、儲存HTTP請求生成的cookie、向傳出的HTTP請求加cookies的物件,整個cookie都儲存在記憶體中,對 Cooklejar例項進行垃圾回收後cookie也將丟失
2. Filecookiejar( filename,delayload=None, policy=None):從 Cookiejar派生而來,用建立 File Cookiejars例項,檢索cookie資訊並將cookie儲存到檔案中, filename是儲存cookies的檔名, deadload為True時支援延遲訪問檔案,即只有在需要時讀取檔案或在檔案中存資料。
3 Mozilla Cookiejar( filename,delayload= None, policy=None):從Filecookiejar生來,建立與 Mozilla瀏覽器cookes.txt相容的FileCookieJar例項。
4. Lwpcookiejar( ( filename,deadload=None,policy=None):從 Filecookiejar派生而來,建立與 libwww-per標準的 Set-cookie3檔案格式相容的Filecookieja例項。
利用http.cookiejar和request.Httpcookieprocessor登入人人網。相關示例程式碼如下:
 

from urllib import request,parse
from http.cookiejar import CookieJar
headers = {
    'User-Agent':'Mozilla/5.0 (windows NT 10.0; win64; x64) Applewekit/537.36 (KHTML,like Gecko) Chrome/62.0.3202.94'
}
def get_opener():
    cookiejar = CookieJar()
    handler = request.HttpCookieProcessor(cookieJar)
    opener = request.build_opener(handler)