1. 程式人生 > >scrapy 資料儲存在 django model中

scrapy 資料儲存在 django model中

一、寫好models檔案

二、配置scrapy -- settings

import os
import sys
import django
from django.core.wsgi import get_wsgi_application

sys.path.append(os.path.dirname(os.path.abspath('.')))
os.environ['DJANGO_SETTINGS_MODULE'] = 'kyzs.settings'
application = get_wsgi_application()
django.setup()

三、寫好scrapy items檔案

import scrapy
from ks.models import ENGLISH_GRE   # important
from scrapy_djangoitem import DjangoItem   #important

class GrecrawlItem(DjangoItem):  #The argument
          django_model=ENGLISH_GRE  

四、寫好sipders檔案

五、寫好pipelines檔案

class GrecrawlPipeline(object):
        def process_item(self, item, spider):
              item.save()
              return item