本文首發自公眾號：python3xxx

爬取公眾號的方式常見的有兩種

• 通過搜狗搜尋去獲取，缺點是隻能獲取最新的十條推送文章

• 通過微信公眾號的素材管理，獲取公眾號文章。缺點是需要申請自己的公眾號。

圖片描述

今天介紹一種通過抓包PC端微信的方式去獲取公眾號文章的方法。相比其他的方法非常方便。

圖片描述 圖片描述

如上圖，通過抓包工具獲取微信的網路資訊請求，我們發現每次下拉重新整理文章的時候都會請求 mp.weixin.qq.com/mp/profile_ext 這個介面。

經過多次測試分析，用到了以下幾個引數

• __biz : 使用者和公眾號之間的唯一id，

• uin ：使用者的私密id

• key ：請求的祕鑰，一段時候只會就會失效。

• offset ：偏移量

• count ：每次請求的條數

資料如下

{
 "ret": 0,
 "errmsg": "ok", # 請求狀態
 "msg_count": 10,  # 資訊條數
 "can_msg_continue": 1, # 是否還可以繼續獲取，1代表可以。0代表不可以，也就是最後一頁
 "general_msg_list": "{"list":[]}", # 公眾號文字資訊
 "next_offset": 20,  
 "video_count": 1,
 "use_video_tab": 1,
 "real_type": 0,
 "home_page_list": []
}

部分程式碼如下

params = {
        '__biz': biz,
        'uin': uin,
        'key': key,
        'offset': offset,
        'count': count,
        'action': 'getmsg',
        'f': 'json'
    }

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'
    }

    response = requests.get(url=url, params=params, headers=headers)
    resp_json = response.json()
    if resp_json.get('errmsg') == 'ok':
        resp_json = response.json()
        # 是否還有分頁資料， 用於判斷return的值
        can_msg_continue = resp_json['can_msg_continue']
        # 當前分頁文章數
        msg_count = resp_json['msg_count']
        general_msg_list = json.loads(resp_json['general_msg_list'])
        list = general_msg_list.get('list')
        print(list, "**************")

最後列印的list就是公眾號的文章資訊詳情。包括標題(titile)、摘要(digest)、文章地址(content_url)、閱讀原文地址(source_url)、封面圖(cover)、作者(author)等等…

輸出結果如下：

[{
    "comm_msg_info": {
        "id": 1000000038,
        "type": 49,
        "datetime": 1560474000,
        "fakeid": "3881067844",
        "status": 2,
        "content": ""
    },
    "app_msg_ext_info": {
        "title": "入門爬蟲，這一篇就夠了！！！",
        "digest": "入門爬蟲，這一篇就夠了！！！",
        "content": "",
        "fileid": 0,
        "content_url": "http:XXXXXX",
        "source_url": "",
        "cover": "I5kME6BVXeLibZDUhsiaEYiaX7zOoibxa9sb4stIwrfuqID5ttmiaoVAFyxKF6IjOCyl22vg8n2NPv98ibow\\/0?wx_fmt=jpeg",
        "subtype": 9,
        "is_multi": 0,
        "multi_app_msg_item_list": [],
        "author": "Python3X",
        "copyright_stat": 11,
        "duration": 0,
        "del_flag": 1,
        "item_show_type": 0,
        "audio_fileid": 0,
        "play_url": "",
        "malicious_title_reason_id": 0,
        "malicious_content_type": 0
    }
},{...},{...},{...},{...},{...},{...},{...},{...},{...}]

獲取資料之後，可以儲存到資料庫中，也可以將文章儲存在PDF中。

1、儲存在Mongo中

# Mongo配置
conn = MongoClient('127.0.0.1', 27017)
db = conn.wx  #連線wx資料庫，沒有則自動建立
mongo_wx = db.article  #使用article集合，沒有則自動建立

for i in list:
    app_msg_ext_info = i['app_msg_ext_info']
    # 標題
    title = app_msg_ext_info['title']
    # 文章地址
    content_url = app_msg_ext_info['content_url']
    # 封面圖
    cover = app_msg_ext_info['cover']

    # 釋出時間
    datetime = i['comm_msg_info']['datetime']
    datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime))

    mongo_wx.insert({
        'title': title,
        'content_url': content_url,
        'cover': cover,
        'datetime': datetime
    })

結果如下

圖片描述

2、匯入到PDF檔案中

Python3中常用的操作PDF的庫有python-pdf和pdfkit。我用了pdfkit這個模組匯出pdf檔案。

pdfkit是工具包Wkhtmltopdf的封裝類，因此需要安裝Wkhtmltopdf才能使用。

可以訪問 https://wkhtmltopdf.org/downloads.html 下載和作業系統匹配的工具包。

圖片描述

實現程式碼也比較簡單，只需要傳入匯入檔案的url即可。

安裝pdfkit庫

pip3 install pdfkit -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
import pdfkit
pdfkit.from_url('公眾號文章地址', 'out.pdf')

執行之後成功匯出pdf檔案。

以上就是獲取公眾號文章的方式，如需完整程式碼，可在公眾號[python3xxx]中回覆 朋友圈 獲取完整程式碼！