爬蟲時直接可用的User-Agent

阿新 • • 發佈：2019-01-20

將下面的user-agent直接複製到程式碼中便可以用

user-agents=['Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6 
; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 
 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)',
'Mozilla 
/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
'Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5',
'Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5',
'Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5',
'Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1',
'MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1',
'Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10',
'Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13',
'Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+',
'Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0',
'Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)',
'UCWEB7.0.2.37/28/999',
'NOKIA5700/ UCWEB7.0.2.37/28/999',
'Openwave/ UCWEB7.0.2.37/28/999',
'Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; InfoPath.2; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; 360SE)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
'Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1',
'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
'Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; TencentTraveler 4.0; .NET CLR 2.0.50727)',
'MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1',
'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
'Mozilla/5.0 (Androdi; Linux armv7l; rv:5.0) Gecko/ Firefox/5.0 fennec/5.0',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
'Opera/9.80 (Android 2.3.4; Linux; Opera mobi/adr-1107051709; U; zh-cn) Presto/2.8.149 Version/11.10',
'UCWEB7.0.2.37/28/999',
'NOKIA5700/ UCWEB7.0.2.37/28/999',
'Openwave/ UCWEB7.0.2.37/28/999',
'Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999',]

爬蟲時直接可用的User-Agent

將下面的user-agent直接複製到程式碼中便可以用 user-agents=['Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0', 'Mozilla/4.0 (compatibl

Python3網絡爬蟲(四)：使用User Agent和代理IP隱藏身份

允許 pos like term a10 不想成了 head 訪問一、為何要設置User Agent 有一些網站不喜歡被爬蟲程序訪問，所以會檢測連接對象，如果是爬蟲程序，也就是非人點擊訪問，它就會不讓你繼續訪問，所以為了要讓程序可以正常運行，需要隱藏自己的爬蟲程

動態ip代理：反網絡爬蟲之設置User-Agent的常規方法

大量 cto sha mark 瀏覽器想要爬蟲 http rom 動態ip代理：反網絡爬蟲之設置User-Agent的常規方法爬蟲過程中的反爬措施非常重要，其中設置隨機 User-Agent 是一項重要的反爬措施。常規情況，比較方便的方法是利用 fake_userag

Python3網路爬蟲(四)：使用User Agent和代理IP隱藏身份

執行平臺：Windows Python版本：Python3.x IDE：Sublime text3 一、為何要設定User Agent 有一些網站不喜歡被爬蟲程式訪問，所以會檢測連線物件，如果是爬蟲程式，也就是非人點選訪問，它就會不讓你繼續

python爬蟲之scrapy中user agent淺談（兩種方法）

user agent簡述 User Agent中文名為使用者代理，簡稱 UA，它是一個特殊字串頭，使得伺服器能夠識別客戶使用的作業系統及版本、CPU 型別、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器外掛等。開始（測試不同型別user agent返回值）手機use

python爬蟲之反爬蟲（隨機user-agent，獲取代理ip，檢測代理ip可用性）

python爬蟲之反爬蟲（隨機user-agent，獲取代理ip，檢測代理ip可用性）目錄隨機User-Agent 獲取代理ip 檢測代理ip可用性　　隨機User-Agent fake_useragent庫，偽

Apache2.4使用require指令進行訪問控制–允許或限制IP訪問/通過User-Agent禁止不友好網絡爬蟲

被拒絕 pid apach res 禁止阻止加載 -s case 從Apache2.2升級到Apache2.4後，發現原來用來限制部分IP和垃圾網絡爬蟲的訪問控制規則不起作用，查詢後才發現，Apache2.4中開始使用mod_authz_host這個新的模塊來進行訪問控

python 爬蟲 User-Agent

1.10 into 3.5 lin 3.0 3.6 mach bar 2.3 USER_AGENTS = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chr

Python3網絡爬蟲（3）：使用User Agent和代理IP隱藏身份

pycharm info 3.1 port rm2 andro python uil blank Python版本：　python3 IDE:　　　　　 pycharm2017.3.3 一、為何要設置User Agent 　　有一些網站不喜歡被爬蟲訪問，所以會檢測對象

【動圖詳解】通過 User-Agent 識別爬蟲的原理、實踐與對應的繞過方法

開篇隨著 Python 和大資料的火熱，大量的工程師蜂擁而上，爬蟲技術由於易學、效果顯著首當其衝的成為了大家追捧的物件，爬蟲的發展進入了高峰期，因此給伺服器帶來的壓力則是成倍的增加。企業或為了保證服務的正常運轉或為了降低壓力與成本，不得不使出各種各樣的技術手段來阻止爬蟲工程師們毫無節制的

【Python3爬蟲】Scrapy使用IP代理池和隨機User-Agent

findall 4.3 sdch 5.0 agen and 由於付費 status 在使用爬蟲的時候，有時候會看到由於目標計算機積極拒絕，無法連接...，這就是因為我們的爬蟲被識別出來了，而這種反爬蟲主要是通過IP識別的，針對這種反爬蟲，我們可以搭建一個自己的IP代理池，

Python 爬蟲更改User-Agent

from urllib import request,error if __name__ == '__main__': url ="http://www.baidu.com" try: #使用head方法進行偽裝 #headers={}

Scrapy爬蟲 -- 編寫下載中介軟體，實現隨機User-Agent

Scrapy爬蟲 -- 編寫下載中介軟體，實現隨機User-Agent 實現步驟： 1. 在middlewares.p中，新建一個下載中介軟體； 2. 建立process_request方法（引擎傳送request物件到下載器時的回撥函式），實現隨機User-Agent的功能； 3.

爬蟲-User-Agent和代理池

今日概要 scrapy下載中介軟體 UA池代理池今日詳情一.下載中介軟體先祭出框架圖：下載中介軟體（Downloader Middlewares）位於scrapy引擎和下載器之間的一層元件。 - 作用：

伺服器反爬蟲攻略：Apache/Nginx/PHP禁止某些User Agent抓

我們都知道網路上的爬蟲非常多，有對網站收錄有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots規則對伺服器造成壓力，還不能為網站帶來流量的無用爬蟲，比如宜搜蜘蛛（YisouSpider）。最近張戈發現nginx日誌中出現了好多宜搜等垃圾的抓取記錄，於是整

爬蟲新增隨機User—Agent（隨機代理）

胖友那還在為新增隨機使用者代理，找出一大堆代理，然後random一下嗎，哈哈哈今天我發現一個好東西，分享出來，可能別人早就知道了，但是對我來說還是個新鮮玩意，哈哈那就是fake-useragent庫安裝 pip install fake-useragent

User-Agent大全,可直接複製到python程式碼裡

這裡面有超過50個 user-agent ,包含PC和移動端, 並且可以直接複製貼上到python程式碼裡. 此方法,是隨機其中一個user-agent: # -*-coding:utf-8 -*- import random # 返回一個隨機的請求頭 h

動態ip代理：反網路爬蟲之設定User-Agent的常規方法

動態ip代理：反網路爬蟲之設定User-Agent的常規方法爬蟲過程中的反爬措施非常重要，其中設定隨機 User-Agent 是一項重要的反爬措施。常規情況，比較方便的方法是利用 fake_useragent包，這個包內建大量的 UA 可以隨機替換，這比自己去搜集羅列要方便很多，下面來看一下如何操作。

Python爬蟲之瀏覽器User-Agent大全

一、基礎知識篇：Http Header之User-Agent User Agent中文名為使用者代理，是Http協議中的一部分，屬於頭域的組成部分，User Agent也簡稱UA。它是一個特殊字串頭，是一種向訪問網站提供你所使用的瀏覽器型別及版本、作業系統及版本、瀏覽器

python爬蟲之Scrapy框架:兩種隨機選擇User-Agent的方法

修改請求時的User-Agent一般有兩種思路:一是修改setting中的User-Agent變數(適用於極少量的agent更換,一般不採用);另一種就是通過Downloader Middleware的process_request()方法來修改,即在middlewares.

爬蟲時直接可用的User-Agent

相關推薦