scrapy 資料儲存在 django model中
阿新 • • 發佈:2018-12-04
一、寫好models檔案
二、配置scrapy -- settings
import os
import sys
import django
from django.core.wsgi import get_wsgi_applicationsys.path.append(os.path.dirname(os.path.abspath('.')))
os.environ['DJANGO_SETTINGS_MODULE'] = 'kyzs.settings'
application = get_wsgi_application()
django.setup()
三、寫好scrapy items檔案
import scrapy
from ks.models import ENGLISH_GRE # important
from scrapy_djangoitem import DjangoItem #importantclass GrecrawlItem(DjangoItem): #The argument
django_model=ENGLISH_GRE
四、寫好sipders檔案
五、寫好pipelines檔案
class GrecrawlPipeline(object):
def process_item(self, item, spider):
item.save()
return item