Scrapy 模擬登陸知乎--抓取熱點話題

阿新 • • 發佈：2019-01-16

折騰了將近兩天，中間數次想要放棄，還好硬著頭皮搞下去了，在此分享出來，希望有同等需求的各位能少走一些彎路。

原始碼放在了github上，歡迎前往檢視。

若是幫你解決了問題，或者給了你啟發，不要吝嗇給加一星。

工具準備

在開始之前，請確保 scrpay 正確安裝，手頭有一款簡潔而強大的瀏覽器，若是你有使用 postman 那就更好了。

Python

scrapy genspider zhihu

1	scrapy genspider zhihu

使用以上命令生成知乎爬蟲,程式碼如下:

Python

# -*- coding: utf-8 -*-
import scrapy


class ZhihuSpider(scrapy.Spider):
    name = 'zhihu'
    allowed_domains = ['www.zhihu.com']
    start_urls = ['http://www.zhihu.com/']

    def parse(self, response):
        pass

1234567891011

# -*- coding: utf-8 -*-importscrapyclassZhihuSpider(scrapy.Spider):name='zhihu'allowed_domains=['www.zhihu.com']start_urls=['http://www.zhihu.com/']defparse(self,response):pass

有一點切記，不要忘了啟用 Cookies, 切記切記 ：

Python

# Disable cookies (enabled by default)
COOKIES_ENABLED = True

12	# Disable cookies (enabled by default)COOKIES_ENABLED=True

模擬登陸

過程如下：

進入登入頁，獲取 Header 和 Cookie 資訊

完善的 Header 資訊能儘量偽裝爬蟲，有效 Cookie 資訊能迷惑知乎服務端，使其認為當前登入非首次登入，若無有效 Cookie 會遭遇驗證碼。在抓取資料之前，請在瀏覽器中登入過知乎，這樣才使得 Cookie 是有效的。

Header 和 Cookie 整理如下:

Python

headers = {
    'Host':
    'www.zhihu.com',
    'Connection':
    'keep-alive',
    'Origin':
    'https://www.zhihu.com',
    'User-Agent':
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
    'Content-Type':
    'application/x-www-form-urlencoded; charset=UTF-8',
    'Accept':
    '*/*',
    'X-Requested-With':
    'XMLHttpRequest',
    'DNT':
    1,
    'Referer':
    'https://www.zhihu.com/',
    'Accept-Encoding':
    'gzip, deflate, br',
    'Accept-Language':
    'zh-CN,zh;q=0.8,en;q=0.6',
}

cookies = {
    'd_c0':
    '"AHCAtu1iqAmPTped76X1ZdN0X_qAwhjdLUU=|1458699045"',
    '__utma':
    '51854390.1407411155.1458699046.1458699046.1458699046.1',
    '__utmv':
    '51854390.000--|3=entry_date=20160322=1',
    '_zap':
    '850897bb-cba4-4d0b-8653-fd65e7578ac2',
    'q_c1':
    'b7918ff9a5514d2981c30050c8c732e1|1502937247000|1491446589000',
    'aliyungf_tc':
    'AQAAAHVgviiNyQsAOhSntJ5J/coWYtad',
    '_xsrf':
    'b12fdca8-cb35-407a-bc4c-6b05feff37cb',
    'l_cap_id':
    '"MDk0MzRjYjM4NjAwNDU0MzhlYWNlODQ3MGQzZWM0YWU=|1503382513|9af99534aa22d5db92c7f58b45f3f3c772675fed"',
    'r_cap_id':
    '"M2RlNDZjN2RkNTBmNGFmNDk2ZjY4NjIzY2FmNTE4NDg=|1503382513|13370a99ee367273b71d877de17f05b2986ce0ef"',
    'cap_id':
    '"NmZjODUxZjQ0NzgxNGEzNmJiOTJhOTlkMTVjNWIxMDQ=|1503382513|dba2e9c6af7f950547474f827ef440d7a2950163"',
}

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647

headers={'Host':'www.zhihu.com','Connection':'keep-alive','Origin':'https://www.zhihu.com','User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36','Content-Type':'application/x-www-form-urlencoded; charset=UTF-8','Accept':'*/*','X-Requested-With':'XMLHttpRequest','DNT':1,'Referer':'https://www.zhihu.com/','Accept-Encoding':'gzip, deflate, br','Accept-Language':'zh-CN,zh;q=0.8,en;q=0.6',}cookies={'d_c0':'"AHCAtu1iqAmPTped76X1ZdN0X_qAwhjdLUU=|1458699045"','__utma':'51854390.1407411155.1458699046.1458699046.1458699046.1','__utmv':'51854390.000--|3=entry_date=20160322=1','_zap':'850897bb-cba4-4d0b-8653-fd65e7578ac2','q_c1':'b7918ff9a5514d2981c30050c8c732e1|1502937247000|1491446589000','aliyungf_tc':'AQAAAHVgviiNyQsAOhSntJ5J/coWYtad','_xsrf':'b12fdca8-cb35-407a-bc4c-6b05feff37cb','l_cap_id':'"MDk0MzRjYjM4NjAwNDU0MzhlYWNlODQ3MGQzZWM0YWU=|1503382513|9af99534aa22d5db92c7f58b45f3f3c772675fed"','r_cap_id':'"M2RlNDZjN2RkNTBmNGFmNDk2ZjY4NjIzY2FmNTE4NDg=|1503382513|13370a99ee367273b71d877de17f05b2986ce0ef"','cap_id':'"NmZjODUxZjQ0NzgxNGEzNmJiOTJhOTlkMTVjNWIxMDQ=|1503382513|dba2e9c6af7f950547474f827ef440d7a2950163"',}

在瀏覽器中，模擬登陸，抓取登陸請求資訊。

從圖中可以看到 _xsrf 引數, 這個引數與登陸驗證資訊無關，但很明顯是由登陸頁面攜帶的資訊。 Google了下 xsrf 的含義，用於防範跨站請求偽造。

整理以上，程式碼如下：
Python

loginUrl = 'https://www.zhihu.com/#signin'
siginUrl = 'https://www.zhihu.com/login/email'


def start_requests(self):
    return [
        scrapy.http.FormRequest(
            self.loginUrl,
            headers=self.headers,
            cookies=self.cookies,
            meta={'cookiejar': 1},
            callback=self.post_login)
    ]


def post_login(self, response):
    xsrf = response.css(
        'div.view-signin > form > input[name=_xsrf]::attr(value)'
    ).extract_first()
    self.headers['X-Xsrftoken'] = xsrf

    return [
        scrapy.http.FormRequest(
            self.siginUrl,
            method='POST',
            headers=self.headers,
            meta={'cookiejar': response.meta['cookiejar']},
            formdata={
                '_xsrf': xsrf,
                'captcha_type': 'cn',
                'email': 'xxxxxx@163.com',
                'password': 'xxxxxx',
            },
            callback=self.after_login)
    ]

1234567891011121314151617181920212223242526272829303132333435

loginUrl='https://www.zhihu.com/#signin'siginUrl='https://www.zhihu.com/login/email'defstart_requests(self):return[scrapy.http.FormRequest(self.loginUrl,headers=self.headers,cookies=self.cookies,meta={'cookiejar':1},callback=self.post_login)]defpost_login(self,response):xsrf=response.css('div.view-signin > form > input[name=_xsrf]::attr(value)').extract_first()self.headers['X-Xsrftoken']=xsrfreturn[scrapy.http.FormRequest(self.siginUrl,method='POST',headers=self.headers,meta={'cookiejar':response.meta['cookiejar']},formdata={'_xsrf':xsrf,'captcha_type':'cn','email':'[email protected]','password':'xxxxxx',},callback=self.after_login)]

設定Bearer Token

經過上述步驟登陸成功了，有點小激動，有沒有！但苦難到此還遠沒有結束，這個時候嘗試抓取最近熱門話題，直接返回 code:401 ,未授權的訪問。授權資訊未設定，導致了此類錯誤，莫非遺漏了什麼，看來只能在瀏覽器中追蹤請求引數來偵測問題。在瀏覽器的請求中，包含了Bearer Token, 而我在scrapy中模擬的請求中未包含此資訊，所以我被伺服器認定為未授權的。通過觀察發現 Bearer Token 的關鍵部分，就是 Cookies 中的 z_c0 包含的資訊。

z_c0 包含的資訊，是在登陸完成時種下的，所以從登陸完成返回的登陸資訊裡，獲取要設定的 Cookie 資訊，然後拼接出 Bearer Token,最後設定到 Header 中。

程式碼整理如下:

Python

def after_login(self, response):
    jdict = json.loads(response.body)
    print('after_login', jdict)
    if jdict['r'] == 0:
        z_c0 = response.headers.getlist('Set-Cookie')[2].split(';')[0].split(
            '=')[1]
        self.headers['authorization'] = 'Bearer ' + z_c0
        return scrapy.http.FormRequest(
            url=self.feedUrl,
            method='GET',
            meta={'cookiejar': response.meta['cookiejar']},
            headers=self.headers,
            formdata={
                'action_feed': 'True',
                'limit': '10',
                'action': 'down',
                'after_id': str(self.curFeedId),
                'desktop': 'true'
            },
            callback=self.parse)
    else:
        print(jdict['error'])

12345678910111213141516171819202122

defafter_login(self,response):jdict=json.loads(response.body)print('after_login',jdict)ifjdict['r']==0:z_c0=response.headers.getlist('Set-Cookie')[2].split(';')[0].split('=')[1]self.headers['authorization']='Bearer '+z_c0returnscrapy.http.FormRequest(url=self.feedUrl,method='GET',meta={'cookiejar':response.meta['cookiejar']},headers=self.headers,formdata={'action_feed':'True','limit':'10','action':'down','after_id':str(self.curFeedId),'desktop':'true'},callback=self.parse)else:print(jdict['error'])

獲取資料

上述步驟後，資料獲取就水到渠成了，為了檢測成功與否，把返回資訊寫到檔案中,而且只獲取前五十個,程式碼如下：

Python

feedUrl = 'https://www.zhihu.com/api/v3/feed/topstory'
nextFeedUrl = ''
curFeedId = 0


def parse(self, response):
    with open('zhihu.json', 'a') as fd:
        fd.write(response.body)
    jdict = json.loads(response.body)
    jdatas = jdict['data']
    for entry in jdatas:
        entry['pid'] = entry['id']
        yield entry

    jpaging = jdict['paging']
    self.curFeedId += len(jdatas)
    if jpaging['is_end'] == False and self.curFeedId < 50:
        self.nextFeedUrl = jpaging['next']
        yield self.next_request(response)


def next_request(self, response):
    return scrapy.http.FormRequest(
        url=self.nextFeedUrl,
        method='GET',
        meta={'cookiejar': response.meta['cookiejar']},
        headers=self.headers,
        callback=self.parse)

12345678910111213141516171819202122232425262728

feedUrl='https://www.zhihu.com/api/v3/feed/topstory'nextFeedUrl=''curFeedId=0defparse(self,response):withopen('zhihu.json','a')asfd:fd.write(response.body)jdict=json.loads(response.body)jdatas=jdict['data']forentry injdatas:entry['pid']=entry['id']yieldentryjpaging=jdict['paging']self.curFeedId+=len(jdatas)ifjpaging['is_end']==Falseandself.curFeedId<50:self.nextFeedUrl=jpaging['next']yieldself.next_request(response)defnext_request(self,response):returnscrapy.http.FormRequest(url=self.nextFeedUrl,method='GET',meta={'cookiejar':response.meta['cookiejar']},headers=self.headers,callback=self.parse)

最終獲取的資料如下圖所示：

寫在最後

知乎的資料，只有登入完成之後，才可有效的獲取，所以模擬登陸是無法忽略不管的。所謂的模擬登陸，只是在scrapy中儘量的模擬在瀏覽器中的互動過程，使服務端無感抓包過程。請求中附加有效的 Cookies 和 Headers 頭資訊，可有效的迷惑服務端，同時在互動的過程中，獲取後續請求必要資訊和認證資訊，使得整個流程能不斷先前。

若是你遇到什麼問題，儘量提出來，歡迎一起來討論解決。

原始碼放在了github上，歡迎前往檢視。

Scrapy 模擬登陸知乎--抓取熱點話題

工具準備

模擬登陸

設定Bearer Token

獲取資料

寫在最後

Scrapy 模擬登陸知乎--抓取熱點話題

【scrapy】模擬登陸知乎

網站爬取-案例四：知乎抓取(COOKIE登錄抓取個人中心)(第二卷)

python3 使用selenium模擬登陸天眼查抓取資料

python爬蟲模擬登陸知乎網

Python 爬蟲-模擬登入知乎-爬取拉勾網職位資訊

最新，最新！selenium模擬登陸知乎

使用OKHttp模擬登陸知乎，兼談OKHttp中Cookie的使用！

Python爬蟲之模擬登陸知乎

模擬登陸知乎，2016/10/23可用

利用python requests庫模擬登陸知乎

用selenium模擬登陸知乎賬號，處理登陸介面隨機出現驗證碼視窗的問題

scrapy框架項目：抓取全部知乎用戶信息，並且保存至mongodb

scrapy 登陸知乎

selenium 模擬登入知乎和微博

模擬登陸+數據爬取 (python+selenuim)

scrapy模擬登陸小例子

運維學python之爬蟲高級篇（六）scrapy模擬登陸

爬蟲入門到精通-headers的詳細講解（模擬登入知乎）

scrapy模擬瀏覽器翻頁爬取智聯

Scrapy 模擬登陸知乎--抓取熱點話題

工具準備

模擬登陸

設定Bearer Token

獲取資料

寫在最後

相關推薦