爬蟲-User-Agent和代理池

阿新 • • 發佈：2018-12-13

今日概要

scrapy下載中介軟體
UA池
代理池

今日詳情

一.下載中介軟體

先祭出框架圖：

下載中介軟體（Downloader Middlewares）位於scrapy引擎和下載器之間的一層元件。

- 作用：

（1）引擎將請求傳遞給下載器過程中，下載中介軟體可以對請求進行一系列處理。比如設定請求的 User-Agent，設定代理等

（2）在下載器完成將Response傳遞給引擎中，下載中介軟體可以對響應進行一系列處理。比如進行gzip解壓等。

我們主要使用下載中介軟體處理請求，一般會對請求設定隨機的User-Agent ，設定隨機的代理。目的在於防止爬取網站的反爬蟲策略。

二.UA池：User-Agent池

- 作用：儘可能多的將scrapy工程中的請求偽裝成不同型別的瀏覽器身份。

- 操作流程：

1.在下載中介軟體中攔截請求

2.將攔截到的請求的請求頭資訊中的UA進行篡改偽裝

3.在配置檔案中開啟下載中介軟體

程式碼展示：

#導包
from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware
import random
#UA池程式碼的編寫（單獨給UA池封裝一個下載中介軟體的一個類） class RandomUserAgent(UserAgentMiddleware): def process_request(self, request, spider): #從列表中隨機抽選出一個ua值 ua = random.choice(user_agent_list) #ua值進行當前攔截到請求的ua的寫入操作 request.headers.setdefault('User-Agent',ua) user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1", "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 " "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 " "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 " "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 " "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5", "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 " "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 " "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 " "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24" ]

三.代理池

- 作用：儘可能多的將scrapy工程中的請求的IP設定成不同的。

- 操作流程：

1.在下載中介軟體中攔截請求

2.將攔截到的請求的IP修改成某一代理IP

3.在配置檔案中開啟下載中介軟體

程式碼展示：

#批量對攔截到的請求進行ip更換
#單獨封裝下載中介軟體類
class Proxy(object): def process_request(self, request, spider): #對攔截到請求的url進行判斷（協議頭到底是http還是https） #request.url返回值：http://www.xxx.com h = request.url.split(':')[0] #請求的協議頭 if h == 'https': ip = random.choice(PROXY_https) request.meta['proxy'] = 'https://'+ip else: ip = random.choice(PROXY_http) request.meta['proxy'] = 'http://' + ip #可被選用的代理IP PROXY_http = [ '153.180.102.104:80', '195.208.131.189:56055', ] PROXY_https = [ '120.83.49.90:9000', '95.189.112.214:35508', ]

scrapy下載中介軟體
UA池
代理池

今日詳情

一.下載中介軟體

先祭出框架圖：

下載中介軟體（Downloader Middlewares）位於scrapy引擎和下載器之間的一層元件。

- 作用：

（1）引擎將請求傳遞給下載器過程中，下載中介軟體可以對請求進行一系列處理。比如設定請求的 User-Agent，設定代理等

（2）在下載器完成將Response傳遞給引擎中，下載中介軟體可以對響應進行一系列處理。比如進行gzip解壓等。

我們主要使用下載中介軟體處理請求，一般會對請求設定隨機的User-Agent ，設定隨機的代理。目的在於防止爬取網站的反爬蟲策略。

二.UA池：User-Agent池

- 作用：儘可能多的將scrapy工程中的請求偽裝成不同型別的瀏覽器身份。

- 操作流程：

1.在下載中介軟體中攔截請求

2.將攔截到的請求的請求頭資訊中的UA進行篡改偽裝

3.在配置檔案中開啟下載中介軟體

程式碼展示：

#導包
from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware
import random
#UA池程式碼的編寫（單獨給UA池封裝一個下載中介軟體的一個類） class RandomUserAgent(UserAgentMiddleware): def process_request(self, request, spider): #從列表中隨機抽選出一個ua值 ua = random.choice(user_agent_list) #ua值進行當前攔截到請求的ua的寫入操作 request.headers.setdefault('User-Agent',ua) user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1", "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 " "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 " "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 " "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 " "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5", "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 " "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 " "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 " "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24" ]

三.代理池

- 作用：儘可能多的將scrapy工程中的請求的IP設定成不同的。

- 操作流程：

1.在下載中介軟體中攔截請求

2.將攔截到的請求的IP修改成某一代理IP

3.在配置檔案中開啟下載中介軟體

程式碼展示：

#批量對攔截到的請求進行ip更換
#單獨封裝下載中介軟體類
class Proxy(object): def process_request(self, request, spider): #對攔截到請求的url進行判斷（協議頭到底是http還是https） #request.url返回值：http://www.xxx.com h = request.url.split(':')[0] #請求的協議頭 if h == 'https': ip = random.choice(PROXY_https) request.meta['proxy'] = 'https://'+ip else: ip = random.choice(PROXY_http) request.meta['proxy'] = 'http://' + ip #可被選用的代理IP PROXY_http = [ '153.180.102.104:80', '195.208.131.189:56055', ] PROXY_https = [ '120.83.49.90:9000', '95.189.112.214:35508', ]

爬蟲-User-Agent和代理池

今日概要 scrapy下載中介軟體 UA池代理池今日詳情一.下載中介軟體先祭出框架圖：下載中介軟體（Downloader Middlewares）位於scrapy引擎和下載器之間的一層元件。 - 作用：

Python3網絡爬蟲(四)：使用User Agent和代理IP隱藏身份

允許 pos like term a10 不想成了 head 訪問一、為何要設置User Agent 有一些網站不喜歡被爬蟲程序訪問，所以會檢測連接對象，如果是爬蟲程序，也就是非人點擊訪問，它就會不讓你繼續訪問，所以為了要讓程序可以正常運行，需要隱藏自己的爬蟲程

Python3網絡爬蟲（3）：使用User Agent和代理IP隱藏身份

pycharm info 3.1 port rm2 andro python uil blank Python版本：　python3 IDE:　　　　　 pycharm2017.3.3 一、為何要設置User Agent 　　有一些網站不喜歡被爬蟲訪問，所以會檢測對象

Python3網路爬蟲(四)：使用User Agent和代理IP隱藏身份

執行平臺：Windows Python版本：Python3.x IDE：Sublime text3 一、為何要設定User Agent 有一些網站不喜歡被爬蟲程式訪問，所以會檢測連線物件，如果是爬蟲程式，也就是非人點選訪問，它就會不讓你繼續

scrapy中自定義下載中介軟體設定動態User-Agent和代理ip

''' scrapy 自定義下載中介軟體動態設定User-Agent ''' import random class RandomUserAgent: def __init__(self, agents): self.agents = agent

爬蟲的UA池和代理池

爬蟲的UA池和代理池一.下載中介軟體先祭出框架圖：下載中介軟體（Downloader Middlewares）位於scrapy引擎和下載器之間的一層元件。 - 作用：（1）

Scrapy中間件user-agent和ip代理使用

fir rap proc tin def 執行 span 註意 i686 一、定義實現隨機User-Agent的下載中間件 1.在middlewares.py中完善代碼 1 import random 2 from Tencent.settings impor

Python爬蟲之Scrapy框架的UA池和代理池

loader 代理 user 4.5 fill 中間件 5.1 html linu 一下載Scrapy的下載中間件下載中間件（Downloader Middlewares）位於scrapy引擎和下載器之間的一層組件。下載中間件的作用：（1）引擎請求傳遞給下載器的

python 爬蟲 User-Agent

1.10 into 3.5 lin 3.0 3.6 mach bar 2.3 USER_AGENTS = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chr

UA池和代理池

今日概要 scrapy下載中介軟體 UA池代理池今日詳情一.下載中介軟體下載中介軟體（Downloader Middlewares）位於scrapy引擎和下載器之間的一層元件。 - 作用：（1）引擎將請求傳遞給下載器過程中，下載中介軟體可以對請求進行一系列處理。比如

UA池和代理池（IP)

span res load user pro random safari rmi mac os x UA池(每一次請求采用池中的隨機UA) a) 在中間件類中進行導包 from scrapy.contrib.downloadermiddleware.useragent i

Scrapy middleware 設定隨機User-Agent 和 proxy

1.初始化一些User-Agent建立一個檔案叫useragent.pyagents = [ "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.5 (KHTML, like Gecko)

如何修改IE瀏覽器的User-Agent使用者代理字串資訊

每款瀏覽器都有一個專屬的 User-Agent 字串資訊，通過 User-Agent 網站可以檢測使用者所使用的瀏覽器版本。某些網站為了讓使用者獲得更好的瀏覽體驗，通過檢測使用者的瀏覽器版本，以確認使用者所使用的上網裝置，然後為使用者跳轉至適用於該裝置瀏覽的網頁。上面是 User-Agent 的典型應用，

UA池和代理池在scrapy中的應用

一.下載中介軟體下載中介軟體（Downloader Middlewares）位於scrapy引擎和下載器之間的一層元件。 - 作用：（1）引擎將請求傳遞給下載器過程中，下載中介軟體可以對請求進行一系列處理。比如設定請求的 User-Agent，設定代理等（2）在下載器完成將Response傳

14.UA池和代理池

block middle inux class lang safari meta 20M loader 14.UA池和代理池今日概要 scrapy下載中間件 UA池代理池今日詳情一.下載中間件先祭

10 UA池和代理池在Scrapy中的應用

下載中介軟體簡介　　在Scrapy中，引擎和下載器之間有一個元件，叫下載中介軟體（Downloader Middlewares）。因它是介於Scrapy的request/response處理的鉤子，所以有2方面作用：（1）引擎將請求傳遞給下載器過程中，下載中介軟體可以對Requests進行一系

【Python3爬蟲】Scrapy使用IP代理池和隨機User-Agent

findall 4.3 sdch 5.0 agen and 由於付費 status 在使用爬蟲的時候，有時候會看到由於目標計算機積極拒絕，無法連接...，這就是因為我們的爬蟲被識別出來了，而這種反爬蟲主要是通過IP識別的，針對這種反爬蟲，我們可以搭建一個自己的IP代理池，

[Python] [爬蟲] 3.批量政府網站的招投標、中標資訊爬取和推送的自動化爬蟲——代理池

目錄 1.Intro 2.Source 1.Intro 檔名：proxyPool.py 模組名：代理池引用庫： requests urllib2 lxml scrapy pymongo

scrapy代理及隨機user-agent使用,及user-agent池

1.middlewares.py 2.在setting中設定一下 3.user-agent池 USER_AGENTS = [ “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NE

爬蟲代理池的維持更新和使用

爬蟲代理池使用 ProxyPool的下載測試代理池是否正常工作獲取代理方法 ProxyPool的下載網上有許多的免費代理，這裡用GitHub裡崔慶才老師提供的免費代理池ProxyPool下載地址進入該頁面後，點選右上角下載下

爬蟲-User-Agent和代理池

今日概要

今日詳情

三.代理池

今日詳情

三.代理池

相關推薦