2. 程式人生 > >scrapy框架拓展：為download_middleware新增使用者代理池

scrapy框架拓展：為download_middleware新增使用者代理池

阿新 • • 發佈：2019-02-20 
**在與spider同目錄下建立user_agent.py**
#coding:utf-8


"""避免被ban策略之一：使用useragent池。

使用注意：需在settings.py中進行相應的設定。
"""
from scrapy import log
import random
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
class RotateUserAgentMiddleware(UserAgentMiddleware):
    # for more user agent strings,you can find it in http://www.useragentstring.com/pages/useragentstring.php
 

    user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "
        "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "
        "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "
 

        "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "
        "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "
        "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "
 

        "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "
        "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 "
        "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 "
        "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]
    def process_request(self, request, spider):
        ua = random.choice(self.user_agent_list)
        if ua:
            # 顯示當前使用的useragent
            print "********Current UserAgent:%s************" % ua
            # 記錄
            log.msg('Current UserAgent: ' + ua)
            request.headers.setdefault('User-Agent', ua)


**最後在setting中設定**
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,#禁用預設的代理
'demo.UserAgent.RotateUserAgentMiddleware':400
    #啟用自己的使用者代理

相關推薦

scrapy框架拓展：為download_middleware新增使用者代理池

**在與spider同目錄下建立user_agent.py** #coding:utf-8 """避免被ban策略之一：使用useragent池。 使用注意：需在settings.py中進行相應的設定。 """ from scrapy import log

鬱金香驅動學習>第二課：為驅動新增解除安裝功能

//通過這個buildchk_w2K_x86.log檔案可以查看出錯資訊 //為驅動新增解除安裝功能 #include <ntddk.h> //定義個INITCODE巨集，這個巨集表示 初始化的時候載入記憶體，然後可以從記憶體中解除安裝掉 #define INITCODE code_

python3 爬蟲實戰：為爬蟲新增 GUI 影象介面

  From：https://blog.csdn.net/Fan_shui/article/details/81611752     一、前言   　　前面我們寫的爬蟲只能執行在具有python環境的電腦上，若是把原始碼發給別人，很大可

Android學習：為按鍵新增聲音

轉自：http://blog.csdn.net/lissdy/article/details/8392961 為程式的按鈕新增按鍵聲音能更好的親和使用者，產生更好的使用體驗，下面就是為按鍵新增聲音的方法： public class MainActivity extend

Android小技巧(二)：為ContentProvider新增資料庫事務支援

介紹：資料庫事務是由一組資料庫操作序列組成，事務作為一個整體被執行。 事務的原子性：包含在其中的對資料庫的操作序列最終要麼全部執行，要麼全部不執行。當全部執行時，事務對資料庫的修改將生效；當全部不執行時，資料庫維持原有的狀態，不會被修改。 問題：最近在做一個從sdcard

建立一個Fraction類（分數）實現分數的加減乘除，比較大小、約分等方法。 要求：為類新增屬性

Fraction.h宣告檔案 #import <Foundation/Foundation.h> @interface Fraction : NSObject @property (nonatomic) NSInteger member;//分子 @prope

製作屬於自己的過狗菜刀：為菜刀新增介面

def makepostdata(postdata):open('in.txt','w').write(postdata)#儲存資料到in.txtreturn postdatapass=eval("Ex"%26cHr(101)%26"cute(""Server.ScriptTimeout%3D3600:On+

Unity3D開發：為地形新增水源和效果

第一步：新增水面 由於我在上一次的地形創作中就已經在山峰之間製作了一塊窪地，它就可以作為一個放置湖水的地方。如果您上次的創作並沒有這樣的地形，那麼請您重新建立一個山勢地形圖，就當作自己的一次練習吧。 在場景面板中點選Y方向的綠色箭頭  ，切換到頂檢視，這樣可以便於我們

python 反爬總結（1）- 限制IP UA 的解決方法，修改headers和新增IP代理池

在學習python爬蟲的過程中，遇到各種反爬機制，個人總結了一下： 對同樣的ip或User-Agent進行限制， 對頻繁訪問的ip進行限制， 設定登陸限制， 設定驗證碼， 設定Ajax載入頁面。 目前小白我也就瞭解這麼多，其中驗證碼的反反爬還在學習當中，學無止境啊 &

機器學習第三練：為慈善機構尋找捐助者

alt earch .get 變量 照相 標簽 log 比較 random 這個任務同樣是在Jupyter Notebook中完成， 項目目的是通過前面的所有特征列，當然去掉序號列，然後預測最後一列，收入‘income‘，究竟是大於50K，還是小於等於50K. 第一

atitit.php 流行框架 前三甲為：Laravel、Phalcon、Symfony2 attilax 總結

快照 log jpg 實踐 think net post 控制 web框架 atitit.php 流行框架 前三甲為：Laravel、Phalcon、Symfony2 attilax 總結 1. ，最流行的PHP框架前三甲為：Laravel、Phalcon、

爬蟲——Scrapy框架案例一：手機APP抓包

debug domain hone targe allow topic document more ebs 以爬取鬥魚直播上的信息為例： URL地址：http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&of

爬蟲——Scrapy框架案例二：陽光問政平臺

web url地址 blog rem idt xpath disable ora ole 陽光熱線問政平臺 URL地址：http://wz.sun0769.com/index.php/question/questionType?type=4&page= 爬取字段：帖

框架基礎：ajax設計方案（六）--- 全局配置、請求格式拓展和優化、請求二進制類型、瀏覽器錯誤搜集以及npm打包發布

rri seve win 最大 regexp isempty lee 出現問題 hub 距離上一次博客大概好多好多時間了，感覺再不搞點東西出來，感覺就廢了的感覺。這段時間回老家學習駕照，修養，然後7月底來上海求職（面了4家，拿了3家office），然後入職同程旅遊，項目趕進

scrapy框架項目：抓取全部知乎用戶信息，並且保存至mongodb

-- resp 用戶信息 ces filter name object api .com import scrapyimport json,time,refrom zhihuinfo.items import ZhihuinfoItemclass ZhihuSpider(s

scrapy爬蟲框架（一）：scrapy框架簡介

一、安裝scrapy框架 #開啟命令列輸入如下命令： pip install scrapy 二、建立一個scrapy專案 安裝完成後，python會自動將 scrapy命令新增到環境變數中去，這時我們就可以使用 scrapy命令來建立我們的第一個 scrapy專案了。

Django搭建部落格（九）：為部落格新增程式碼高亮顯示和 md文件支援

一、用到的模組 Markdown pygments re 安裝直接使用 pip 安裝最新版本即可 二、支援的 markdown格式 目前只支援 Typora編輯器所支援的 markdown格式。 特別需要注意的是：程式碼塊必須使

Python：scrapy框架爬取校花網男神圖片儲存到本地

爬蟲四部曲，本人按自己的步驟來寫，可能有很多漏洞，望各位大神指點指點   1、建立專案 scrapy startproject xiaohuawang scrapy.cfg: 專案的配置檔案 xiaohuawang/: 該專案的python模組。之後您將在此加入程

UE4 第一人稱射擊製作流程：07（圖文）為開槍新增特效

接上一個，開槍的動畫已經有了，現在新增開槍的時候，在槍口產生開槍特效 1、尋找開槍粒子特效資源；（隨你喜歡） 2、開啟Character_BP角色藍圖，在Gun模型下新增箭頭Arrow，取名Muzzle;調節到合適的位置，這個箭頭的意思就是粒子特效產生的地方， 3、編輯Character_

Dora.Interception，為.NET Core度身打造的AOP框架 [1]：更加簡練的程式設計體驗

很久之前開發了一個名為Dora.Interception的開源AOP框架（github地址：https://github.com/jiangjinnan/Dora，如果你覺得這個這框架還有那麼一點價值，請不吝多點一顆星）,最近對它作了一些改進（包括程式設計模式和效能，目前版本升級到2.1.2）。一直以來我對軟