無力吐槽的python2，對中文太不友好了，不過在早期專案中還是需要用到

沒辦法，還是需要解決

我編寫scrapy爬蟲的一般思路：

1. 建立spider檔案和類
2. 編寫parse解析函式，抓取測試，將有用資訊輸出到控制檯
3. 在資料庫中建立資料表
4. 編寫item
5. 編寫model（配合pipline將item寫入資料庫）
6. 編寫pipline
7. 執行爬蟲專案，測試儲存的資料正確性

在第2步抓取測試的時候，我並沒有建立資料庫（因為我感覺在資料庫中建立資料表比較麻煩，考慮的因素比較多），並不能儲存資料到資料庫，直接輸出到控制檯又不能很好地看到資料的整體效果

一個解決辦法就是利用scrapy提供的資料匯出中介軟體，將抓取的資料匯出到json或者scv檔案中

$ scrapy crawl spider_name -o person.json

額，python2。。。我的天，抓取的資料大概是這樣的

[
{"name": "\u5f20\u4e39"},
{"name": "\u77bf\u6653\u94e7"},
{"name": "\u95eb\u5927\u9e4f"},
{"name": "\u9c8d\u6d77\u660e"},
{"name": "\u9648\u53cb\u658c"},
{"name": "\u9648\u5efa\u5cf0"}
]

好吧，英文能看懂，中文反而看不懂了，簡直不能忍

接下來對它做點什麼

1、找到scrapy預設配置檔案

# scrapy.settings.default_settings

FEED_EXPORTERS_BASE = {
    'json': 'scrapy.exporters.JsonItemExporter',
    'jsonlines': 'scrapy.exporters.JsonLinesItemExporter',
    'jl': 'scrapy.exporters.JsonLinesItemExporter',
    'csv': 'scrapy.exporters.CsvItemExporter',
    'xml': 'scrapy.exporters.XmlItemExporter'
 
,
    'marshal': 'scrapy.exporters.MarshalItemExporter',
    'pickle': 'scrapy.exporters.PickleItemExporter',
}

2、看到json的匯出類，按照路徑找到這個類

# scrapy.exporters.JsonItemExporter

class JsonItemExporter(BaseItemExporter):

    def __init__(self, file, **kwargs):
        self._configure(kwargs, dont_fail=True)
        self.file = file
        self.encoder = ScrapyJSONEncoder(**kwargs)
        self.first_item = True

    def start_exporting(self):
        self.file.write(b"[\n")

    def finish_exporting(self):
        self.file.write(b"\n]")

    def export_item(self, item):
        if self.first_item:
            self.first_item = False
        else:
            self.file.write(b',\n')
        itemdict = dict(self._get_serialized_fields(item))
        self.file.write(to_bytes(self.encoder.encode(itemdict)))

看到最下面一句，寫入檔案，後面還對其進行了編碼，我們就在這裡做工作

3、改寫JsonItemExporter
方法1：

import json

class MyJsonItemExporter(JsonItemExporter):
    def export_item(self, item):
        if self.first_item:
            self.first_item = False
        else:
            self.file.write(b',\n')
        itemdict = dict(self._get_serialized_fields(item))
        self.file.write(json.dumps(itemdict, ensure_ascii=False))

繼承原有的JsonItemExporter類，將最下面的寫入檔案程式碼修改即可，這種方式比較直觀，也比較簡單

方式2：
我們注意到JsonItemExporter中的初始化函式有一個屬性

self.encoder = ScrapyJSONEncoder(**kwargs)

下面寫入的時候也用到了，順藤摸瓜，依次找到下面兩個類，部分程式碼省略

class ScrapyJSONEncoder(json.JSONEncoder):
    pass

class JSONEncoder(object):

    def __init__(self, skipkeys=False, ensure_ascii=True,
            check_circular=True, allow_nan=True, sort_keys=False,
            indent=None, separators=None, encoding='utf-8', default=None):

這樣看來，我們也可以這麼改寫

class MyJsonItemExporter(JsonItemExporter):
    def __init__(self, file, **kwargs):
        super(MyJsonItemExporter, self).__init__(
            file, ensure_ascii=False, **kwargs
        )

僅僅只是添加了ensure_ascii=False， 這樣看起來，逼格就高了許多

4、使用MyJsonItemExporter
可以在爬蟲中單獨設定，也可以設定在全域性settings裡邊

 custom_settings = {
    "FEED_EXPORTERS_BASE":{
            "json": "MyJsonItemExporter"
    }
}

再次執行爬蟲，這次我能看懂中文了

[
{"name": "張丹"},
{"name": "閆大鵬"},
{"name": "瞿曉鏵"},
{"name": "鮑海明"},
{"name": "陳友斌"},
{"name": "陳建峰"}
]