網路爬蟲實戰之微信公眾號

簡介: 這篇文章主要教大家怎麼獲取一些電腦無法訪問的微信公眾號資料，乾貨滿滿，30分鐘包學會。

實戰

環境

• 作業系統: win10
• python版本: 2.7.3

安裝

• 抓包工具有很多，這裡我使用的是Fiddler，下面我也是按照這個工具展示，其他工具不在這裡討論。

資料介面分析

1 我們雖然電腦不能直接訪問該微信公眾號,但我們可以通過電腦設定手機代理來訪問，具體的步驟大家請參考這裡。(由於我覺得這裡寫的很詳細，就不自己單獨寫一份了）

2 如果第一步成功了，我們再次用手機微信訪問上面提到的那個神奇的連結,這時候再檢視Fiddler

入口地址的Header資訊如下:

GET https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz=MzU4MTIzNTE2Mw==&scene=124&devicetype=iPhone+OS9.3.2&version=16060223&lang=zh_CN&nettype=WIFI&a8scene=1&fontScale=100&pass_ticket=HzJHDnkJb3%2B0ahfIxvOkfBNKHuHMqPSTy6BhUfH%2Fh%2FIvlm9I3TXDMu%2BLVTBJrlje&wx_header=1
 
 HTTP/1.1
Host: mp.weixin.qq.com
Cookie: devicetype=iPhoneOS9.3.2; lang=zh_CN; pass_ticket=HzJHDnkJb3+0ahfIxvOkfBNKHuHMqPSTy6BhUfH/h/Ivlm9I3TXDMu+LVTBJrlje; rewardsn=; version=16060223; wap_sid2=CPqn++IDElwyUVRfYlQzbUgtQXhyalNJSUNZV0FtQWN6aUpZanlOTzBPbXZhTmlLY254WXpUTTA0MlIyajVNQ1lzaXd0a25NTmRxRktFNzlsYWRDdHlBTEFaSy10YThEQUFBfjDG9vTTBTgNQJVO; wxtokenkey=53c052ead40aff8e2cd6620b4318c2cd55b1fa8b11fc42bb68b0259eaff6737b; wxuin=1012847610; pgv_pvid=9292485220; tvfe_boss_uuid=fd1f6cd130701ba3
 

X-WECHAT-KEY: f766f1cd6ee0ff274dc9860b51eae7f688d14083adcad2ef8de83924c183947c6bd72b106319c39f3de71761aa71412f6d75e59c7819490a459ccac7c46d3473489343f4fe4cb6c7db495ff9fb9b3c11
Proxy-Connection: keep-alive
X-WECHAT-UIN: MTAxMjg0NzYxMA%3D%3D
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 9_3_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13F69 MicroMessenger/6.6.2 NetType/WIFI Language/zh_CN
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
Connection: keep-alive

3 我們已經找到了入口地址，但是你會發現，就這個公眾號而言，我們還可以下拉重新整理的，行，重新整理後觀察Fiddler的變化，如下圖:

Header資訊如下:

GET https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzU4MTIzNTE2Mw==&f=json&offset=16&count=10&is_ok=1&scene=124&uin=777&key=777&pass_ticket=HzJHDnkJb3%2B0ahfIxvOkfBNKHuHMqPSTy6BhUfH%2Fh%2FIvlm9I3TXDMu%2BLVTBJrlje&wxtoken=&appmsg_token=943_RlSAGtRNJ4hTeFCpdMXrQE5OMWo7zlA9yV3RsQ~~&x5=0&f=json HTTP/1.1
Host: mp.weixin.qq.com
Accept-Encoding: gzip, deflate
Cookie: devicetype=iPhoneOS9.3.2; lang=zh_CN; pass_ticket=HzJHDnkJb3+0ahfIxvOkfBNKHuHMqPSTy6BhUfH/h/Ivlm9I3TXDMu+LVTBJrlje; rewardsn=; version=16060223; wap_sid2=CPqn++IDElxoZGlxSHVkbU5iUTgxdk5ERml2S0VTUFdTeFppcC1zRDNNS05qLTRvMlBhc0NWV0ZUX212UHYwQTZMQThmNUR6anFjZEh5V1FnNGtIT2NXQkhuUFhHcThEQUFBfjDE9/TTBTgNQJVO; wxtokenkey=53c052ead40aff8e2cd6620b4318c2cd55b1fa8b11fc42bb68b0259eaff6737b; wxuin=1012847610; pgv_pvid=9292485220; tvfe_boss_uuid=fd1f6cd130701ba3
Connection: keep-alive
Proxy-Connection: keep-alive
Accept: */*
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 9_3_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13F69 MicroMessenger/6.6.2 NetType/WIFI Language/zh_CN
Referer: https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz=MzU4MTIzNTE2Mw==&scene=124&devicetype=iPhone+OS9.3.2&version=16060223&lang=zh_CN&nettype=WIFI&a8scene=1&fontScale=100&pass_ticket=HzJHDnkJb3%2B0ahfIxvOkfBNKHuHMqPSTy6BhUfH%2Fh%2FIvlm9I3TXDMu%2BLVTBJrlje&wx_header=1
Accept-Language: zh-cn
X-Requested-With: XMLHttpRequest

我這裡用上面的方法，對頁面訪問了兩次，擷取重新整理後的url，分析兩次訪問的引數的異同，所以引數可能和讀者不太一樣:

第一次訪問的url:

https://mp.weixin.qq.com/mp/profile_ext?action=getmsg
&__biz=MzU4MTIzNTE2Mw==
&f=json
&offset=16
&count=10
&is_ok=1
&scene=124
&uin=777
&key=777
&pass_ticket=HzJHDnkJb3%2B0ahfIxvOkfBNKHuHMqPSTy6BhUfH%2Fh%2FIvlm9I3TXDMu%2BLVTBJrlje
&wxtoken=
&appmsg_token=943_RlSAGtRNJ4hTeFCpdMXrQE5OMWo7zlA9yV3RsQ~~
&x5=0
&f=json

第二次訪問的url:

https://mp.weixin.qq.com/mp/profile_ext?action=getmsg
&__biz=MzU4MTIzNTE2Mw==
&f=json
&offset=16
&count=10
&is_ok=1
&scene=124
&uin=777
&key=777
&pass_ticket=xbJdEC6xMdTcPhBobs039uy0hsso2Ii03RqWP1a1ACmWJjQe7YaU8XVdcOeQVgDP
&wxtoken=
&appmsg_token=943_WzQEBfwN9QQRZWd2GjBb44hpWWHBGAIx4wOHAA~~
&x5=0
&f=json

• 這個url直接訪問是不會給資料的，因為header中還有其他資訊，我們單純就看其中一些引數知道大概的意思就行，後面我們再用程式碼去測試。

__biz : 這個似乎沒變，不管他
f: 資料格式為json
offset: 資料偏移量為16，可以認為是從哪條資料開始
count: 每一頁的數量為10
pass_ticket: 一個加密引數，這個先別管,大家多訪問幾次就發現不太一樣
appmsg_token：也是一個加密引數，先別管
其他的引數似乎都不怎麼變動，到時候就帶著一起訪問吧。

• 有這些資訊就很穩了，我們大致可以發現規律了，第一次訪問是有個初始頁面的，初始頁面中的資料在html中。下拉重新整理時，後面的資料就是通過介面來獲取，其中一些加密引數怎麼來的，這個比較難，暫時教程中就帶著這幾個加密引數一起走就是，這裡不細說。

編寫爬蟲

• 終於分析完了，讓我們來愉快的寫程式碼吧！

# -*- coding:utf8 -*-
__author__ = 'power'
import urllib2
import re
import json
# 讀者自己替換url
url = "https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzU4MTIzNTE2Mw==&f=json" \
           "&offset=16" \
           "&count=10" \
           "&is_ok=1&scene=124&uin=777&key=777&pass_ticket=xbJdEC6xMdTcPhBobs039uy0hsso2Ii03RqWP1a1ACmWJjQe7YaU8XVdcOeQVgDP&wxtoken=&appmsg_token=943_Ybr%252BNzl3hE5TUzCdt3ESYvsmavTcuwaGNKX2-w~~&x5=0&f=json"

# 設定headers,這裡可以一個一個試，發現只需要Cookie和User-Agent就行了
# 記得修改Cookie和User-Agent
headers = {
    # 'Accept-Encoding': 'gzip, deflate',
    'Cookie': 'devicetype=iPhoneOS9.3.2; lang=zh_CN; pass_ticket=xbJdEC6xMdTcPhBobs039uy0hsso2Ii03RqWP1a1ACmWJjQe7YaU8XVdcOeQVgDP; version=16060223; wap_sid2=CPqn++IDElw2eTdjZlZqQ2tTUjhWekZwcXN2b0xTNGp1YzhuekIzWVVKenpfRElxbm9iM05oVW5rQUxzU0hxQWhKamVsdEtyalIwMVE2SFNfOWd6ZHdvWWdUVnNsSzhEQUFBfjCHyvXTBTgNQJVO; wxuin=1012847610; pgv_pvid=9292485220; tvfe_boss_uuid=fd1f6cd130701ba3',
    # 'Connection': 'keep-alive',
    # 'Proxy-Connection': 'keep-alive',
    # 'Accept': '*/*',
    'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 9_3_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13F69 MicroMessenger/6.6.2 NetType/WIFI Language/zh_CN',
    # 'Referer': 'https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz=MzU4MTIzNTE2Mw==&scene=124&devicetype=iPhone+OS9.3.2&version=16060223&lang=zh_CN&nettype=WIFI&a8scene=1&fontScale=100&pass_ticket=xbJdEC6xMdTcPhBobs039uy0hsso2Ii03RqWP1a1ACmWJjQe7YaU8XVdcOeQVgDP&wx_header=1',
    # 'Accept-Language': 'zh-cn',
    # 'X-Requested-With': 'XMLHttpRequest'
}
data = None
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
# 將資料讀出來
html = response.read()
# 我們下面將裡面的title全部輸出出來
# 資料轉成字典
msg = json.loads(html)
# 從字典中讀出資訊列表
msg = msg["general_msg_list"]
pat_title = '"title":"(.*?)"'
# 根據正則表示式獲取所有的title資訊
titles = re.compile(pat_title, re.S).findall(msg)
for title in titles:
    print title

• 執行程式，很棒，標題都輸出來了,如圖:
  

ps. 這裡只是簡單的寫了一段爬蟲的程式碼，讀者有興趣可以自己改造一下變成多頁面或者設定代理去爬取。

注意事項

1 該篇文章只是簡單的介紹微信公眾號中資料介面如何獲取，還有很多加密引數如何破解，這就比較難，下次有時間會給出詳細的教程，這裡一兩下說不完。

2 如果安裝或者執行中出了什麼問題請留言。

3 由於微信中設定了url的過期時間，如果一個本來能訪問的url突然不能訪問了，請讀者重新抓取。文章中的url應該都已經過期了,哈哈

相關資料