1. 程式人生 > >Scrapy如何獲取返回的headers裡面的多個Set-Cookie

Scrapy如何獲取返回的headers裡面的多個Set-Cookie

爬蟲有時候需要先拿到cookie, 然後再用cookie去訪問其他頁面。當遇到返回的response的headers中包含多個Set-Cookie時,如何獲取呢?
如果直接用requests模組:

#獲取響應的cookie
        html = requests.get(url,headers=Head,verify=False,timeout=maxExcuteTime)
        cookie=html.headers['Set-Cookie']

這種方式可以獲取。


如果用scrapy的話,用上面的方式只能拿到一個Set-Cookie,此時我們需要:

cookie = response.headers.getlist('Set-Cookie')

這樣可以獲取到一個Set-Cookie列表。然後可以把各個Set-Cookie組合在一起,就可以訪問新的頁面了!!!