注意：1、settings.py中ITEM_PIPELINES中數字代表執行順序（範圍是1-1000），引數需要提前配置在settings.py中（也可以直接放在函式中，這裡主要是放在settings.py中），同時settings.py需要配置開啟

2、 process_item() 從spider中yield過來的item， 都要執行這個函式。會被多次呼叫

3、return item：如果後面還有操作需要用到item，那麼在當前操作結束後必須return item供後面的操作使用！

一、scrapy自帶的儲存方式（圖片，文件的下載）

需要在settings.py中配置：主要是開啟

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {

    # 啟用scrapy自帶的圖片下載ImagesPipeline（None：為關閉）
    'scrapy.pipelines.images.ImagesPipeline': None,

    # 啟用scrapy自帶的檔案下載FilesPipeline
    # 'scrapy.pipelines.files.FilesPipeline': 2
 


    # 如果採用自定義的CustomImagesPipeline，需要將自帶的ImagesPipeline設定為None。如下面的小說封面的下載和內容Mongodb的儲存
    'NovelSpider.pipelines.CustomImagesPipeline': 1,
    'NovelSpider.pipelines.MongoPipeline': 2,
}

附加處理圖片的示例程式碼：（主要是通過做的result結果檢視資料！！）

如果需要這樣的操作就就在settings.py中開啟（示例程式碼是文章列表的圖片！）

from scrapy.pipelines.images import ImagesPipeline
class JobbolePipeline(object):
    def process_item(self, item, spider):
        return item


# 定義處理圖片的Pipeline
class ImagePipeline(ImagesPipeline):
    def item_completed(self, results, item, info):
        print('---',results)
        return item
        # 如果圖片能夠下載成功，說明這個文章是有圖片的。如果results中不存在path路徑，說明是沒有圖片的。
        # [(True, {'path': ''})]
        # if results:
        #     try:
        #         img_path = results[0][1]['path']
        #     except Exception as e:
        #         print('img_path獲取異常，',e)
        #         img_path = '沒有圖片'
        # else:
        #     img_path = '沒有圖片'

        # 判斷完成，需要將變數img_path重新儲存到item中。
 

二、儲存Json資料格式

直接使用cmd命令列（進入scrapy虛擬環境才行）：scrapy crawl 專案名 -o 檔名.json -s FEED_EXPORT_ENCIDING=utf-8

自定義Json儲存：

import json


class JsonPipeline(object):
    def __init__(self):
        self.file = open('檔名.json', 'wb')

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line.encode('utf-8'))
        return item

    # def close_spider(self, spider):
    #     self.file.close()
 

在settings.py中配置：

ITEM_PIPELINES = {
    #'NovelSpider.pipelines.NovelspiderPipeline': 300,
    'NovelSpider.pipelines.JsonPipeline': 300,
    # 'NovelSpider.pipelines.MongoPipeline': 301,

    # 啟用scrapy自帶的圖片下載ImagesPipeline
    #'scrapy.pipelines.images.ImagesPipeline': None,

    # 啟用scrapy自帶的檔案下載FilesPipeline
    # 'scrapy.pipelines.files.FilesPipeline': None

    # 如果採用自定義的CustomImagesPipeline，需要將自帶的ImagesPipeline設定為None。
    #'NovelSpider.pipelines.CustomImagesPipeline': 1,
    #'NovelSpider.pipelines.MongoPipeline': 2,
}

三、儲存到Mongodb資料庫

現在sesttings.py中配置，如圖：

MONGOCLIENT = 'localhost'
#連線是的引數，novel為資料庫的名（自己定義）
DB = 'novel'

class MongoPipeline(object):
    def __init__(self, client, db):
        self.client = pymongo.MongoClient(client)
        self.db = self.client[db]

    # from_crawler()作用就是從settings.py中讀取相關配置，然後可以將讀取結果儲存在類中使用。
    @classmethod
    def from_crawler(cls, crawler):
        # 建立當前類的物件，並傳遞兩個引數。
        obj = cls(
            client=crawler.settings.get('MONGOCLIENT', 'localhost'),
            db=crawler.settings.get('DB', 'test')
        )
        return obj

    def process_item(self, item, spider):
        #novel資料庫名，儲存方式是更新式（url欄位更新），另一種存入方式覆蓋式：self.db['資料庫名'].insert_one(item)
        self.db['novel'].update_one({'url': item['url']}, {'$set': dict(item)}, True)
        # return item(如果後面還需要item就必須return)

配置settings.py檔案：

ITEM_PIPELINES = {
    #'NovelSpider.pipelines.NovelspiderPipeline': 300,
    #'NovelSpider.pipelines.JsonPipeline': 300,
    'NovelSpider.pipelines.MongoPipeline': 301,

    # 啟用scrapy自帶的圖片下載ImagesPipeline
    #'scrapy.pipelines.images.ImagesPipeline': None,

    # 啟用scrapy自帶的檔案下載FilesPipeline
    # 'scrapy.pipelines.files.FilesPipeline': None

    # 如果採用自定義的CustomImagesPipeline，需要將自帶的ImagesPipeline設定為None。
    #'NovelSpider.pipelines.CustomImagesPipeline': 1,
    #'NovelSpider.pipelines.MongoPipeline': 2,
}

簡單的方法：（省略了settings.py的配置Mongodb的引數和呼叫讀取配置！），還是需要配置settings.py中的ITEM_PIPELINES如上述程式碼！

import pymongo

class JobsPipeline(object):
    def process_item(self, item, spider):
        # 引數1 {'zmmc': item['zmmc']}: 用於查詢表中是否已經存在zmmc對應的documents文件。
        # 引數3 True: 更新(True)還是插入(False, insert_one())
        # 引數2 要儲存或者更新的資料
        #示例程式碼“zmcc”欄位，僅做參考！！！資料庫名是job
        self.db['job'].update_one({'zmmc': item['zmmc']}, {'$set': dict(item)}, True)
        return item

    def open_spider(self, spider):
        self.client = pymongo.MongoClient('localhost')
        self.db = self.client['jobs']

四、儲存到MySQL資料庫

注意：MySQL資料庫會出現非同步寫入，用來提高寫入速度防止出現寫入阻塞！

首先在MySQL資料庫中建立對應的表，注意欄位的設計！

匯入:

import pymysql

#BolePipeline：自定義的！
class BolePipeline(object):
    def __init__(self):
        self.db = None
        self.cursor = None   
    
    def process_item(self, item, spider):
        #資料庫的名字和密碼自己知道！！！bole是資料庫的名字
        self.db = pymysql.connect(host='localhost', user='root', passwd='123456', db='bole')
        self.cursor = self.db.cursor()
        #由於可能報錯所以在這重複拿了一下item中的資料，存在了data的字典中
        data = {
            "list_sort":item['list_sort'],
            "article_sort":item['article_sort'],
            "title":item['title'],
            "article_url":item['article_url'],
            "zan":item['zan'],
            "content": item['content']
        }
        #注意：MySQL資料庫命令語句
        insert_sql = "INSERT INTO bole (list_sort, article_sort, title, article_url,zan, content) VALUES (%s,%s,%s,%s,%s,%s)"
        try:
            self.cursor.execute(insert_sql, (data['list_sort'], data['article_sort'], data['title'], data['article_url'],data['zan'], data['content']))
            self.db.commit()
        except Exception as e:
            print('問題資料跳過！.......',e)
            self.db.rollback()
        self.cursor.close()
        self.db.close()
        return item

ITEM_PIPELINES = {
    #'NovelSpider.pipelines.NovelspiderPipeline': 300,
    #'NovelSpider.pipelines.JsonPipeline': 300,
    #'NovelSpider.pipelines.MongoPipeline': 301,
    'NovelSpider.pipelines.BolePipeline': 301,
    # 啟用scrapy自帶的圖片下載ImagesPipeline 
    #'scrapy.pipelines.images.ImagesPipeline': None, 
    # 啟用scrapy自帶的檔案下載FilesPipeline 
    # 'scrapy.pipelines.files.FilesPipeline': None 
    # 如果採用自定義的CustomImagesPipeline，需要將自帶的ImagesPipeline設定為None。 
    #'NovelSpider.pipelines.CustomImagesPipeline': 1, 
    #'NovelSpider.pipelines.MongoPipeline': 2,
}

簡單方式：最後在settings.py中配置！

import pymysql

class HongxiuPipeline(object):
    #示例程式碼是儲存小說資訊
    # process_item() 從spider中yield過來的item， 都要執行這個函式。會被多次呼叫
    def process_item(self, item, spider):  
        insert_sql = "INSERT INTO hx(title, author, tags, total_word_num, keep_num, click_num, info) VALUES (%s, %s, %s, %s, %s, %s, %s)"
        self.cursor.execute(insert_sql, (item['title'], item['author'], item['tags'], item['total_word_num'], item['keep_num'], item['click_num'], item['info']))
        self.connect.commit()

    # open_spider()和close_spider()：只在爬蟲被開啟和關閉時，執行一次。
    def open_spider(self, spider):
        self.connect = pymysql.connect(
            host='localhost',
            user='root',
            port=3306,
            passwd='123456',
            db='hongxiu',
            charset='utf8'
        )
        self.cursor = self.connect.cursor()

    def close_spider(self, spider):
        self.cursor.close()
        self.connect.close()

五、儲存Excel中（.csv格式）

cmd命令直接儲存（注意：必須進入scrapy虛擬環境中！儲存後表格中有空行！）：

scrapy crawl 專案名 -o 檔名.csv -s FEED_EXPORT_ENCIDING=utf-8

自定義建立表格（以儲存招聘資訊為例）：

#excel儲存
class Excel(object):
    #def __init__(self):
        #self.row = 1

    def creat_excel(self):
        # 1.建立workbook物件
        book = xlwt.Workbook(encoding='utf-8')
        # 2.建立選項卡
        # 此處選項卡名字為：職位簡介
        sheet = book.add_sheet('職位簡介')
        # 3.新增頭
        # 第一個引數是行，第二個引數是列，第三個引數是列的欄位名
        sheet.write(0, 0, '職位名稱')
        sheet.write(0, 1, '工作地點')
        sheet.write(0, 2, '公司月薪')
        sheet.write(0, 3, '職位要求')

        return book, sheet



class PythonjobPipeline(object):
    print("---------開始儲存！！")
    def __init__(self):
        self.row = 1
        obj = Excel()
        self.book, self.sheet = obj.creat_excel()

    def process_item(self, item, spider):
        self.sheet.write(self.row, 0, item['title'])
        print(item['title'])
        self.sheet.write(self.row, 1, item['addr'])
        self.sheet.write(self.row, 2, item['money'])
        self.sheet.write(self.row, 3, item['company_detail'])

        self.row += 1
        self.close_file(item)

    def close_file(self,item):
        self.book.save('職位簡介.xls')
        return item

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'scrapy.pipelines.files.FilesPipeline': None,
    'pythonjob.pipelines.PythonjobPipeline': 300,
   
}

六、自定義下載圖片和文件並儲存

首先：在settings.py中設定引數

# 配置圖片的儲存目錄
IMAGES_STORE = 'pics'
# 在ImagesPipeline進行下載圖片是，配置圖片對應的Item欄位
IMAGES_URLS_FIELD = 'pic_src'

FILES_STORE = 'novel'

FILES_URLS_FIELD = 'download_url'

圖片下載儲存：

匯入：

from scrapy.http import Request
from scrapy.pipelines.images import ImagesPipeline

class CustomImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        # 從item中獲取要下載圖片的url，根據url構造Request()物件，並返回該物件
        image_url = item['img_url'][0]
        yield Request(image_url, meta={'item': item})

    def file_path(self, request, response=None, info=None):
        # 用來自定義圖片的下載路徑
        item = request.meta['item']
        url = item['img_url'][0].split('/')[5]
        return '%s.jpg'%url

    def item_completed(self, results, item, info):
        # 圖片下載完成後，返回的結果results
        print(results)
        return item

settings.py中配置

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    # 'NovelSpider.pipelines.NovelspiderPipeline': 300,
   
    # 啟用scrapy自帶的圖片下載ImagesPipeline
    'scrapy.pipelines.images.ImagesPipeline': None,

    # 啟用scrapy自帶的檔案下載FilesPipeline
    # 'scrapy.pipelines.files.FilesPipeline':None,

    # 如果採用自定義的CustomImagesPipeline，需要將自帶的ImagesPipeline設定為None。
    'NovelSpider.pipelines.CustomImagesPipeline': 1,
}

檔案的下載儲存（類比圖片的下載儲存）

#圖片++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
class CustomImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        # 從items中獲取要下載圖片的url, 根據url構造Requeset()物件, 並返回該物件
        # sort_title = item['sort_title']
        try:
            image_url = item['pic_src'][0]
            yield Request(image_url, meta={'item': item})
        except:
            image_url = 'https://www.qisuu.la/modules/article/images/nocover.jpg'
        yield Request(image_url, meta={'item': item})

    def file_path(self, request, response=None, info=None):
        item = request.meta['item']
        return '{}/{}.jpg'.format(item['sort'], item['novel_name'])

    def item_completed(self, results, item, info):

        print(results)
        return item

#文字++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
class CustomFilesPipeline(FilesPipeline):
    def get_media_requests(self, item, info):

            download_url = item['download_url'][0]
            download_url = download_url.replace("'",'')
            print(download_url)
            yield Request(download_url, meta={'item':item})

    def file_path(self, request, response=None, info=None):
        item = request.meta['item']
       #建立sort_name檔案，在裡面儲存novel_name檔案
        return '%s/%s' % (item['sort'],item['novel_name'])

    def item_completed(self, results, item, info):
        print(results)
        return item

配置settings.py:

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   # 'qishutest.pipelines.QishutestPipeline': 300,
# 啟用scrapy自帶的圖片下載ImagesPipeline
    'scrapy.pipelines.images.QishutestPipeline': None,

    # 啟用scrapy自帶的檔案下載FilesPipeline
    'scrapy.pipelines.files.FilesPipeline': None,

    # 如果採用自定義的CustomImagesPipeline，需要將自帶的ImagesPipeline設定為None。
    'qishutest.pipelines.CustomImagesPipeline':1,
    'qishutest.pipelines.CustomFilesPipeline':2,
}