scrapy連接MongoDB
阿新 • • 發佈:2018-05-24
sin 連接參數 tin 做的 clas bsp Go ODB 優先
Scrapy中連接MongoDB所需要做的工作如下:
1.settings中需要設置的部分:
# 啟動管道組件 ITEM_PIPELINES = { ‘QianChengWuYu.mongoDBPiplelines.MongoDBPipline‘: 300, }
# MonDB的連接參數 MONGODB_URI = ‘mongodb://localhost:27017‘ MONGODB_DB_NAME = ‘scrapy_db‘
(1)其中ITEM_PIPELINES中設置的是QianChengWuyu項目中的管道文件mongoDBPiplelines中的MongoDBPipline類,優先級是300
(2)其中MONGODB_URI為指定登錄的IP 這裏是localhost,端口為27017,MONGODB_DB_NAME為MongoDB中數據庫名稱
2.scrapy中piplines文件如下:
""" 該類用於mongdb數據庫的數據插入 """ from pymongo import MongoClient from scrapy import Item class MongoDBPipline(object): def open_spider(self, spider): """ 該方法用於連接數據庫 """db_uri = spider.settings.get(‘MONGODB_URI‘, ‘mongodb://localhost:27017‘) db_name = spider.settings.get(‘MONGODB_DB_NAME‘, ‘scrapy_default‘) self.db_client = MongoClient(‘mongodb://localhost:27017‘) self.db = self.db_client[db_name] def close_spider(self, spider):""" 該方法用於關閉數據庫 """ self.db_client.close() def process_item(self, item, spider): """ 該方法用於插入數據 """ self.insert_db(item) return item def insert_db(self, item): if isinstance(item, Item): item = dict(item) # 將一項數據轉化為字典格式 self.db.books.insert_one(item) # 向集合books中插入數據
scrapy連接MongoDB