10.scrapy框架簡介和基礎應用
今日概要
- scrapy框架介紹
- 環境安裝
- 基礎使用
今日詳情
一.什麼是Scrapy？
Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用框架，非常出名，非常強悍。所謂的框架就是一個已經被集成了各種功能（高效能非同步下載，佇列，分散式，解析，持久化等）的具有很強通用性的專案模板。對於框架的學習，重點是要學習其框架的特性、各個功能的用法即可。
二.安裝
Linux：
pip3 install scrapy
Windows：
a. pip3 install wheel
b. 下載twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
c. 進入下載目錄，執行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
d. pip3 install pywin32
e. pip3 install scrapy
三.基礎使用
1.建立專案：scrapy startproject 專案名稱
專案結構：
project_name/ scrapy.cfg： project_name/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py scrapy.cfg 專案的主配置資訊。（真正爬蟲相關的配置資訊在settings.py檔案中） items.py 設定資料儲存模板，用於結構化資料，如：Django的Model pipelines 資料持久化處理 settings.py 配置檔案，如：遞迴的層數、併發數，延遲下載等 spiders 爬蟲目錄，如：建立檔案，編寫爬蟲解析規則
2.建立爬蟲應用程式：
cd project_name（進入專案目錄）
scrapy genspider 應用名稱 爬取網頁的起始url （例如：scrapy genspider qiubai www.qiushibaike.com）
3.編寫爬蟲檔案:在步驟2執行完畢後，會在專案的spiders中生成一個應用名的py爬蟲檔案，檔案原始碼如下：
# -*- coding: utf-8 -*-
import scrapy
class QiubaiSpider(scrapy.Spider):
name = 'qiubai' #應用名稱
#允許爬取的域名（如果遇到非該域名的url則爬取不到資料）
allowed_domains = ['https://www.qiushibaike.com/']
#起始爬取的url
start_urls = ['https://www.qiushibaike.com/']
#訪問起始URL並獲取結果後的回撥函式，該函式的response引數就是向起始的url傳送請求後，獲取的響應物件.該函式返回值必須為可迭代物件或者NUll
def parse(self, response):
print(response.text) #獲取字串型別的響應內容
print(response.body)#獲取位元組型別的相應內容4.設定修改settings.py配置檔案相關配置:
修改內容及其結果如下：
19行：USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' #偽裝請求載體身份
22行：ROBOTSTXT_OBEY = False #可以忽略或者不遵守robots協議5.執行爬蟲程式：scrapy crawl 應用名稱
四.小試牛刀：將糗百首頁中段子的內容和標題進行爬取
# -*- coding: utf-8 -*-
import scrapy
class QiubaiSpider(scrapy.Spider):
name = 'qiubai'
allowed_domains = ['https://www.qiushibaike.com/']
start_urls = ['https://www.qiushibaike.com/']
def parse(self, response):
#xpath為response中的方法，可以將xpath表示式直接作用於該函式中
odiv = response.xpath('//div[@id="content-left"]/div')
content_list = [] #用於儲存解析到的資料
for div in odiv:
#xpath函式返回的為列表，列表中存放的資料為Selector型別的資料。我們解析到的內容被封裝在了Selector物件中，需要呼叫extract()函式將解析的內容從Selecor中取出。
author = div.xpath('.//div[@class="author clearfix"]/a/h2/text()')[0].extract()
content=div.xpath('.//div[@class="content"]/span/text()')[0].extract()
#將解析到的內容封裝到字典中
dic={
'作者':author,
'內容':content
}
#將資料儲存到content_list這個列表中
content_list.append(dic)
return content_list執行爬蟲程式：
scrapy crawl 爬蟲名稱 ：該種執行形式會顯示執行的日誌資訊
scrapy crawl 爬蟲名稱 --nolog：該種執行形式不會顯示執行的日誌資訊- scrapy框架介紹
- 環境安裝
- 基礎使用
今日詳情
一.什麼是Scrapy？
Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用框架，非常出名，非常強悍。所謂的框架就是一個已經被集成了各種功能（高效能非同步下載，佇列，分散式，解析，持久化等）的具有很強通用性的專案模板。對於框架的學習，重點是要學習其框架的特性、各個功能的用法即可。
二.安裝
Linux：
pip3 install scrapy
Windows：
a. pip3 install wheel
b. 下載twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
c. 進入下載目錄，執行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
d. pip3 install pywin32
e. pip3 install scrapy
三.基礎使用
1.建立專案：scrapy startproject 專案名稱
專案結構：
project_name/
scrapy.cfg：
project_name/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
scrapy.cfg 專案的主配置資訊。（真正爬蟲相關的配置資訊在settings.py檔案中）
items.py 設定資料儲存模板，用於結構化資料，如：Django的Model
pipelines 資料持久化處理
settings.py 配置檔案，如：遞迴的層數、併發數，延遲下載等
spiders 爬蟲目錄，如：建立檔案，編寫爬蟲解析規則2.建立爬蟲應用程式：
cd project_name（進入專案目錄）
scrapy genspider 應用名稱 爬取網頁的起始url （例如：scrapy genspider qiubai www.qiushibaike.com）
3.編寫爬蟲檔案:在步驟2執行完畢後，會在專案的spiders中生成一個應用名的py爬蟲檔案，檔案原始碼如下：
# -*- coding: utf-8 -*-
import scrapy
class QiubaiSpider(scrapy.Spider):
name = 'qiubai' #應用名稱
#允許爬取的域名（如果遇到非該域名的url則爬取不到資料）
allowed_domains = ['https://www.qiushibaike.com/']
#起始爬取的url
start_urls = ['https://www.qiushibaike.com/']
#訪問起始URL並獲取結果後的回撥函式，該函式的response引數就是向起始的url傳送請求後，獲取的響應物件.該函式返回值必須為可迭代物件或者NUll
def parse(self, response):
print(response.text) #獲取字串型別的響應內容
print(response.body)#獲取位元組型別的相應內容4.設定修改settings.py配置檔案相關配置:
修改內容及其結果如下：
19行：USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' #偽裝請求載體身份
22行：ROBOTSTXT_OBEY = False #可以忽略或者不遵守robots協議5.執行爬蟲程式：scrapy crawl 應用名稱
四.小試牛刀：將糗百首頁中段子的內容和標題進行爬取
# -*- coding: utf-8 -*-
import scrapy
class QiubaiSpider(scrapy.Spider):
name = 'qiubai'
allowed_domains = ['https://www.qiushibaike.com/']
start_urls = ['https://www.qiushibaike.com/']
def parse(self, response):
#xpath為response中的方法，可以將xpath表示式直接作用於該函式中
odiv = response.xpath('//div[@id="content-left"]/div')
content_list = [] #用於儲存解析到的資料
for div in odiv:
#xpath函式返回的為列表，列表中存放的資料為Selector型別的資料。我們解析到的內容被封裝在了Selector物件中，需要呼叫extract()函式將解析的內容從Selecor中取出。
author = div.xpath('.//div[@class="author clearfix"]/a/h2/text()')[0].extract()
content=div.xpath('.//div[@class="content"]/span/text()')[0].extract()
#將解析到的內容封裝到字典中
dic={
'作者':author,
'內容':content
}
#將資料儲存到content_list這個列表中
content_list.append(dic)
return content_list執行爬蟲程式：
scrapy crawl 爬蟲名稱 ：該種執行形式會顯示執行的日誌資訊
scrapy crawl 爬蟲名稱 --nolog：該種執行形式不會顯示執行的日誌資訊