環境：

python3 scrapy

目的

寫這篇文章主要是做一下紀念，畢竟是搞了快兩天的東西了，今天加大了量，使用scrapy爬取100多個微信公眾號，然後出現IP被封的情況下，當然了，這種情況並不是沒有辦法解決，只需要在scrapy中進行設定一下就可以了，主要是在本地進行除錯，然後IP代理池那一塊暫時找不到好的質量高的IP，只是爬取了各大網站的免費IP，並沒有很好的解決效果，這個版本只要在IP中稍微進行下設定調整，可以不愧為一個很好的爬取微信公眾號歷史訊息的一個小案例。

爬取步驟

1. 找到公眾號
   

2. 獲取歷史訊息
   

3. 獲取詳情頁內容
   

還有第4步：

將詳情頁內容解析出來，圖片，文字都單獨拎出來，現在暫時不做處理，因為這一塊有些麻煩的。邏輯整體就是這樣。

python程式碼

這裡是spider的程式碼，其他的就不用貼出來了：

spiders/WeChatSogou.py

# -*- coding: utf-8 -*-
# @Time    : 2018/2/25 14:24
# @Author  : 蛇崽
# @Email   : [email protected]
# @File    : WeChatSogou.py（微信公眾號爬蟲：不包含瀏覽量跟評論）
import scrapy
import re
import time
import json
import requests
from fake_useragent import
 
 UserAgent
from scrapy import Request
from scrapy_redis.spiders import RedisSpider
from News_scrapy.items import NewsItem
from News_scrapy.constants.WeChatSource import WXSource

class WeChatSogouSpider(scrapy.Spider):
    name = "WeChat"
    allowed_domains = ["weixin.sogou.com",'mp.weixin.qq.com']
    start_urls = ['http://weixin.sogou.com/'
 
]

    def parse(self, response):

        wx_source = WXSource.get_dict()
        for v_wx_source in wx_source:
            print('wx_source ===',v_wx_source)
            try:
                type = v_wx_source.split('-')[0]
                channel = v_wx_source.split('-')[1]
                print("正在抓取:", type, channel)
                v_main_url = 'http://weixin.sogou.com/weixin?type=1&s_from=input&query={}'.format(channel)
                print('v_main_url',v_main_url)
                yield scrapy.Request(url=str(v_main_url),callback=self.parse_main_link,meta={'type':type})
            except:
                continue
                print('wx_source error ===', v_wx_source)


    def parse_main_link(self,response):
        print('parse_main_link ====  ',response.body)
        target_url = response.xpath("//*['txt-box']/p[@class='tit']/a/@href").extract_first()
        print('===== start =====')
        print('target_url',target_url)
        print('==== end =====')
        if target_url:
            yield scrapy.Request(url=target_url,callback=self.parse_list_gzhao)


    def parse_list_gzhao(self,response):
        print('resonse:  ',response)
        req_text = response.text

        reg_content_url = r'"content_url":"(.*?)",'
        m_infos = re.findall(reg_content_url, req_text, re.S)
        print(len(m_infos))
        for v_info in m_infos:
            v_info = 'https://mp.weixin.qq.com' + re.sub('&', '&', v_info)
            print(v_info)
            yield scrapy.Request(url=v_info,callback=self.parse_detail)

    def parse_detail(self, response):
        print('parse_detail ===== ',response.text)

注意事項：
1 allowed_domains = ["weixin.sogou.com",'mp.weixin.qq.com'] 

2  reg_content_url = r'"content_url":"(.*?)",'
 這裡通過正則方式獲取每個詳情頁連結的url，因為原文用的js動態載入的，

下面這是注意事項2的截圖：

很蛋疼吧，哈哈，哎。