最近幾天一直在學習Scrapy這個框架，打算用幾篇文章來總結一下自己這段時間學習的知識。

      首先我們需要簡單介紹一下Scrapy是個什麼東西。先來看一張圖，是從官網上弄下來的。

Scrapy是一個框架，這個框架是用來爬取網站資料的，並且該框架為我們提供了各種介面，包括爬蟲介面，管道介面，資料

儲存介面以及資料庫訪問介面等等。

上圖中綠色的箭頭表示資料的流向，從Scheduler開始發起請求，返回資料後使用Spider來抓取我們想要的資料，之後把

資料交給相應的資料庫，如果返回的資料中包含連結，則Scheduler再次發起請求，直到所有請求傳送完畢。

那麼就先從一個最簡單的例子開始，當然開始之前還是要進行相應的準備工作。

• 安裝Scrapy

pip install Scrapy

# -*- coding:utf-8 -*-
import io
import sys
import scrapy


sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')
class JokeSpider(scrapy.Spider):
	"""docstring for JulyeduSpider"""
	name = 'jokespider'
	start_urls = ['http://quotes.toscrape.com/tag/humor/']

	def parse(self, response):
		for joke in response.xpath('//div[@class="quote"]'):
			print(joke.xpath('span[1]/text()').extract_first())
			print(joke.xpath('span[2]/small/text()').extract_first())
			# print(joke.xpath('a/p[@class="course-info-tip info-time"][1]/text()').extract_first())

			yield {'content':joke.xpath('span[1]/text()').extract_first(),
			'Author':joke.xpath('span[2]/small/text()').extract_first()}
		
		# 得到下一頁的網址，並且判斷是否有下一頁
		next_page = response.xpath('//li[@class="next"]/a/@href').extract_first()
		if next_page is not None:
			next_page = response.urljoin(next_page)
			yield scrapy.Request(next_page, callback = self.parse)
 

next_page = response.xpath('//li[@class="next"]/a/@href').extract_first()