2. 程式人生 > >爬蟲Scrapy框架的setting.py檔案詳解

爬蟲Scrapy框架的setting.py檔案詳解

阿新 • • 發佈：2018-11-07 
 

  1. # -*- coding: utf-8 -*-

  2.  

  3. # Scrapy settings for demo1 project

  4. #

  5. # For simplicity, this file contains only settings considered important or

  6. # commonly used. You can find more settings consulting the documentation:

  7. #

  8. # http://doc.scrapy.org/en/latest/topics/settings.html

  9. # http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html

  10. # http://scrapy.readthedocs.org/en/latest/topics/spider-middleware.html

  11.  

  12. BOT_NAME = 'demo1' #Scrapy專案的名字,這將用來構造預設 User-Agent,同時也用來log,當您使用 startproject 命令建立專案時其也被自動賦值。

  13.  

  14. SPIDER_MODULES = ['demo1.spiders'] #Scrapy搜尋spider的模組列表 預設: [xxx.spiders]

  15. NEWSPIDER_MODULE = 'demo1.spiders' #使用 genspider 命令建立新spider的模組。預設: 'xxx.spiders'

  16.  
  17.  

  18. #爬取的預設User-Agent，除非被覆蓋

  19. #USER_AGENT = 'demo1 (+http://www.yourdomain.com)'

  20.  

  21. #如果啟用,Scrapy將會採用 robots.txt策略

  22. ROBOTSTXT_OBEY = True

  23.  

  24. #Scrapy downloader 併發請求(concurrent requests)的最大值,預設: 16

  25. #CONCURRENT_REQUESTS = 32

  26.  

  27. #為同一網站的請求配置延遲（預設值：0）

  28. # See http://scrapy.readthedocs.org/en/latest/topics/settings.html#download-delay

  29. # See also autothrottle settings and docs

  30. #DOWNLOAD_DELAY = 3 下載器在下載同一個網站下一個頁面前需要等待的時間,該選項可以用來限制爬取速度,減輕伺服器壓力。同時也支援小數:0.25 以秒為單位

  31.  
  32.  

  33. #下載延遲設定只有一個有效

  34. #CONCURRENT_REQUESTS_PER_DOMAIN = 16 對單個網站進行併發請求的最大值。

  35. #CONCURRENT_REQUESTS_PER_IP = 16 對單個IP進行併發請求的最大值。如果非0,則忽略 CONCURRENT_REQUESTS_PER_DOMAIN 設定,使用該設定。 也就是說,併發限制將針對IP,而不是網站。該設定也影響 DOWNLOAD_DELAY: 如果 CONCURRENT_REQUESTS_PER_IP 非0,下載延遲應用在IP而不是網站上。

  36.  

  37. #禁用Cookie（預設情況下啟用）

  38. #COOKIES_ENABLED = False

  39.  

  40. #禁用Telnet控制檯（預設啟用）

  41. #TELNETCONSOLE_ENABLED = False

  42.  

  43. #覆蓋預設請求標頭：

  44. #DEFAULT_REQUEST_HEADERS = {

  45. # 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

  46. # 'Accept-Language': 'en',

  47. #}

  48.  

  49. #啟用或禁用蜘蛛中介軟體

  50. # See http://scrapy.readthedocs.org/en/latest/topics/spider-middleware.html

  51. #SPIDER_MIDDLEWARES = {

  52. # 'demo1.middlewares.Demo1SpiderMiddleware': 543,

  53. #}

  54.  

  55. #啟用或禁用下載器中介軟體

  56. # See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html

  57. #DOWNLOADER_MIDDLEWARES = {

  58. # 'demo1.middlewares.MyCustomDownloaderMiddleware': 543,

  59. #}

  60.  

  61. #啟用或禁用擴充套件程式

  62. # See http://scrapy.readthedocs.org/en/latest/topics/extensions.html

  63. #EXTENSIONS = {

  64. # 'scrapy.extensions.telnet.TelnetConsole': None,

  65. #}

  66.  

  67. #配置專案管道

  68. # See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html

  69. #ITEM_PIPELINES = {

  70. # 'demo1.pipelines.Demo1Pipeline': 300,

  71. #}

  72.  

  73. #啟用和配置AutoThrottle擴充套件（預設情況下禁用）

  74. # See http://doc.scrapy.org/en/latest/topics/autothrottle.html

  75. #AUTOTHROTTLE_ENABLED = True

  76.  

  77. #初始下載延遲

  78. #AUTOTHROTTLE_START_DELAY = 5

  79.  

  80. #在高延遲的情況下設定的最大下載延遲

  81. #AUTOTHROTTLE_MAX_DELAY = 60

  82.  
  83.  

  84. #Scrapy請求的平均數量應該並行傳送每個遠端伺服器

  85. #AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0

  86.  

  87. #啟用顯示所收到的每個響應的調節統計資訊：

  88. #AUTOTHROTTLE_DEBUG = False

  89.  

  90. #啟用和配置HTTP快取（預設情況下禁用）

  91. # See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings

  92. #HTTPCACHE_ENABLED = True

  93. #HTTPCACHE_EXPIRATION_SECS = 0

  94. #HTTPCACHE_DIR = 'httpcache'

  95. #HTTPCACHE_IGNORE_HTTP_CODES = []

  96. #HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

  97.  

 

 

解釋幾個引數：

ROBOTSTXT_OBEY = True -----------是否遵守robots.txt

CONCURRENT_REQUESTS = 16 -----------開啟執行緒數量，預設16

AUTOTHROTTLE_START_DELAY = 3 -----------開始下載時限速並並延遲時間

AUTOTHROTTLE_MAX_DELAY = 60 -----------高併發請求時最大延遲時間

最底下的幾個：是否啟用在本地快取，如果開啟會優先讀取本地快取，從而加快爬取速度，視情況而定

HTTPCACHE_ENABLED = True

HTTPCACHE_EXPIRATION_SECS = 0

HTTPCACHE_DIR ='httpcache'

HTTPCACHE_IGNORE_HTTP_CODES = []

HTTPCACHE_STORAGE ='scrapy.extensions.httpcache.FilesystemCacheStorage'

以上幾個可以視專案需要開啟，但是有兩個引數最好每次都開啟，而每次都是專案檔案手動開啟不免有些麻煩，最好是專案建立後就自動開啟


#DEFAULT_REQUEST_HEADERS = {
＃'接受'：'text / html，application / xhtml + xml，application / xml; q = 0.9，* / *; q = 0.8'，
＃'Accept-Language'：'en'，
＃}

這個是瀏覽器請求頭，很多網站都會檢查客戶端的頭，比如豆瓣就是每一個請求都檢查頭的user_agent，否則只會返回403，可以開啟

#USER_AGENT ='Chirco（+ http：//www.yourdomain.com）'

這個是至關重要的，大部分伺服器在請求快了會首先檢查User_Agent，而scrapy預設的瀏覽器頭是scrapy1.1我們需要開啟並且修改成瀏覽器頭，如：Mozilla / 5.0（Windows NT 6.1; WOW64）AppleWebKit / 537.1（KHTML，和Gecko一樣）Chrome / 22.0.1207.1 Safari / 537.1

但是最好是這個USER-AGENT會隨機自動更換最好了。

下面的程式碼可以從預先定義的使用者代理的列表中隨機選擇一個來採集不同的頁面 

在settings.py中新增以下程式碼

 

 

  1. DOWNLOADER_MIDDLEWARES = {

  2. 'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,

  3. 'randoms.rotate_useragent.RotateUserAgentMiddleware' :400

  4. }

rotate_useragent的程式碼為：

 

 

  1. # -*- coding: utf-8 -*-

  2. import random

  3. from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware

  4.  

  5. class RotateUserAgentMiddleware(UserAgentMiddleware):

  6. def __init__(self, user_agent=''):

  7. self.user_agent = user_agent

  8.  

  9. def process_request(self, request, spider):

  10. #這句話用於隨機選擇user-agent

  11. ua = random.choice(self.user_agent_list)

  12. if ua:

  13. print('User-Agent:'+ua)

  14. request.headers.setdefault('User-Agent', ua)

  15.  

  16. #the default user_agent_list composes chrome,I E,firefox,Mozilla,opera,netscape

  17. user_agent_list = [\

  18. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"\

  19. "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",\

  20. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",\

  21. "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",\

  22. "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",\

  23. "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",\

  24. "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",\

  25. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",\

  26. "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",\

  27. "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",\

  28. "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",\

  29. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",\

  30. "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",\

  31. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",\

  32. "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",\

  33. "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",\

  34. "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",\

  35. "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"

  36. ]


 

執行爬蟲可以看到資訊：

 

 

  1. 2017-04-16 00:07:40 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023

  2. User-Agent:Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3

  3. 2017-04-16 00:07:40 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET http://www.jianshu.com/robots.txt> from <GET http://jianshu.com/robots.txt>

  4. User-Agent:Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1

  5. 2017-04-16 00:07:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.jianshu.com/robots.txt> (referer: None)

  6. User-Agent:Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24

  7. 2017-04-16 00:07:41 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET http://www.jianshu.com/> from <GET http://jianshu.com/>

  8. User-Agent:Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3


也可以把user_agent_list放到設定檔案中去：

在rotate_useragent檔案中加入一行程式碼

 

from randoms.settings import user_agent_list

執行效果如下：

完整的示例：http：//download.csdn.net/detail/u011781521/9815390

相關推薦

爬蟲Scrapy框架的setting.py檔案詳解

  # -*- coding: utf-8 -*-   # Scrapy settings for demo1 project # # For simplicity, this file contains only setting

Python爬蟲從入門到放棄（十三）之 Scrapy框架的命令行詳解

directory xpath idf 成了 spider i386 名稱 4.2 不同的 這篇文章主要是對的scrapy命令行使用的一個介紹 創建爬蟲項目 scrapy startproject 項目名例子如下： localhost:spider zhaofan$ sc

Python爬蟲從入門到成妖之3-----Scrapy框架的命令行詳解

參數 成了 openssl 入門 文件中 crawler 1.0 使用 lob 創建爬蟲項目 scrapy startproject 項目名 例子如下： E:\crawler>scrapy startproject test1 New Scrapy pro

18、python網路爬蟲之Scrapy框架中的CrawlSpider詳解

正則 art _id 糗事百科 put pytho 切換 ron 提交 CrawlSpider的引入：　　 　　 提問：如果想要通過爬蟲程序去爬取”糗百“全站數據新聞數據的話，有幾種實現方法？ 　　 方法一：基於Scrapy框架中的Spider的遞歸爬取進行實現（Reque

django setting.py配置詳解

import os # Build paths inside the project like this: os.path.join(BASE_DIR, ...) # __file__ 這個變數可以獲得當前檔案的路徑 # os.path.abspath(__file__)指

【Python框架】強大的輕量級開源框架web.py安裝詳解

sgi 程序 .py sadd stat shel centos6 sof shell Python現在非常火，語法簡單而且功能強大，很多同學都想學Python！所以小的給各位看官們準備了高價值Python學習視頻教程及相關電子版書籍，都放在了文章結尾，歡迎前來領取！ 【P

Scrapy爬蟲之settings.py配置檔案詳解

# -*- coding: utf-8 -*- # Scrapy settings for demo1 project # # For simplicity, this file contains only settings considered impor

Python爬蟲從入門到放棄（十一）之 Scrapy框架整體的一個了解

object 定義 roc encoding eth obi pipe pos 等等 這裏是通過爬取伯樂在線的全部文章為例子，讓自己先對scrapy進行一個整理的理解 該例子中的詳細代碼會放到我的github地址：https://github.com/pythonsite/

三大框架（ssh）學習——配置檔案詳解（一)

配置檔案詳解 指定web應用預設字符集 <constant name="struts.i18n.encoding" value="gbk" /> 此配置相當於： request.setCharacterEncoding(“gbk”); r

三大框架（ssh）學習——配置檔案詳解（二）

多配置檔案實現 專案經常需要多人協作開發，但是如果大家都是用同一個struts.xml檔案，會互相影響不利於開發的正常開展。這樣，我們可以通過<include>元素指定多個配置檔案。 可以在src下面建立多個struts配置檔案。然後再struts.xml中分別引入： str

scrapy settings配置檔案詳解

# -*- coding: utf-8 -*- # Scrapy settings for step8_king project # # For simplicity, this file contains only settings considered important or # comm

Maven之pom.xml與setting.xml配置檔案詳解

一.pom.xml詳解     1.概述     pom中節點如下分佈 <project xmlns="http://maven.apache.org/

Python爬蟲（入門+進階）學習筆記 2-6 Scrapy的Request和Response詳解

上節課我們學習了中介軟體，知道了怎麼通過中介軟體執行反反爬策略。本節課主要介紹Scrapy框架的request物件和response物件 通常，Request物件在爬蟲程式中生成並傳遞到系統，直到它們到達下載程式，後者執行請求並返回一個Response物件，

Maven之setting.xml配置檔案詳解

setting.xml配置檔案 maven的配置檔案settings.xml存在於兩個地方： 1.安裝的地方：${M2_HOME}/conf/settings.xml 2.使用者的目錄：${user.home}/.m2/settings.xml 前者又被叫做全域性配置，對作

maven安裝和eclipse整合以及Maven之setting.xml配置檔案詳解

由於maven需要JDK的支援，所以在安裝maven之前請確保電腦上已經安裝了JDK，且配置好了環境變數，具體的JDK的安裝及配置可自行百度。下面進入安裝 一、maven安裝 前面已經下載了相應版本的maven，且已經配置好JDK的環境；     1

keras\preprocessing目錄檔案詳解5.2（sequence.py）-keras學習筆記五

功能：用於預處理序列（例如一篇文章，句子）資料的實用工具。 keras-master\keras\preprocessing\sequence.py 建立詞向量嵌入層，把輸入文字轉為可以進一步處理的資料格式（例如，矩陣） 程式碼註釋 # -*- coding:

SSH框架之Struts的struts.xml配置檔案詳解

struts.xml配置檔案詳解 方式一：只使用一個struts.xml配置檔案 <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE struts PUBLIC "-/

mybatis框架——配置檔案詳解

一、全域性配置檔案 1、概覽 全域性配置檔案（SqlMapConfig.xml）的配置內容和順序如下（順序不能亂）： Properties（屬性） Settings（全域性引數設定） typeAliases（類型別名） typeHandlers（型別處理器） o

Maven專案setting.xml配置檔案詳解

Maven專案的setting.xml檔案，主要分為兩個： 使用者的安裝： ${user.home}/.m2/settings.xml 當前使用者範圍的配置檔案； Maven安裝： maven.conf/settings.xml全局範圍配置文件

【Maven使用者手冊】Maven之setting.xml配置檔案詳解

setting.xml配置檔案 maven的配置檔案settings.xml存在於兩個地方： 1.安裝的地方：${M2_HOME}/conf/settings.xml 2.使用者的目錄：${user.home}/.m2/settings.xml 前者又被叫做全域性配置