1. 程式人生 > >scrapy連接MongoDB

scrapy連接MongoDB

sin 連接參數 tin 做的 clas bsp Go ODB 優先

Scrapy中連接MongoDB所需要做的工作如下:

1.settings中需要設置的部分:

# 啟動管道組件
ITEM_PIPELINES = {
    QianChengWuYu.mongoDBPiplelines.MongoDBPipline: 300,
}
# MonDB的連接參數
MONGODB_URI = mongodb://localhost:27017
MONGODB_DB_NAME = scrapy_db

(1)其中ITEM_PIPELINES中設置的是QianChengWuyu項目中的管道文件mongoDBPiplelines中的MongoDBPipline類,優先級是300

(2)其中MONGODB_URI為指定登錄的IP 這裏是localhost,端口為27017,MONGODB_DB_NAME為MongoDB中數據庫名稱

2.scrapy中piplines文件如下:

"""
該類用於mongdb數據庫的數據插入
"""

from pymongo import MongoClient
from scrapy import Item

class MongoDBPipline(object):
    def open_spider(self, spider):
        """
        該方法用於連接數據庫
        """
db_uri = spider.settings.get(MONGODB_URI, mongodb://localhost:27017) db_name = spider.settings.get(MONGODB_DB_NAME, scrapy_default) self.db_client = MongoClient(mongodb://localhost:27017) self.db = self.db_client[db_name] def close_spider(self, spider):
""" 該方法用於關閉數據庫 """ self.db_client.close() def process_item(self, item, spider): """ 該方法用於插入數據 """ self.insert_db(item) return item def insert_db(self, item): if isinstance(item, Item): item = dict(item) # 將一項數據轉化為字典格式 self.db.books.insert_one(item) # 向集合books中插入數據

scrapy連接MongoDB