2. 程式人生 > >Python爬取大量數據時防止被封IP

Python爬取大量數據時防止被封IP

阿新 • • 發佈：2018-02-08
ble tree user range ask ron 都沒有 進一步 pri

繼續老套路，這兩天我爬取了豬八戒上的一些數據 網址是：http://task.zbj.com/t-ppsj/p1s5.html，可能是由於爬取的數據量有點多吧，結果我的IP被封了，需要自己手動來驗證解封ip,但這顯然阻止了我爬取更多的數據了。

技術分享圖片

下面是我寫的爬取豬八戒的被封IP的代碼

# coding=utf-8
import requests
from lxml import etree

def getUrl():
    for i in range(33):
        url = ‘http://task.zbj.com/t-ppsj/p{}s5.html‘.format(i+1)
        spiderPage(url)

def spiderPage(url):
    if url is None:
        return None

    htmlText = requests.get(url).text
    selector = etree.HTML(htmlText)
    tds = selector.xpath(‘//*[@class="tab-switch tab-progress"]/table/tr‘)
    try:
        for td in tds:
            price = td.xpath(‘./td/p/em/text()‘)
            href = td.xpath(‘./td/p/a/@href‘)
            title = td.xpath(‘./td/p/a/text()‘)
            subTitle = td.xpath(‘./td/p/text()‘)
            deadline = td.xpath(‘./td/span/text()‘)
            price = price[0] if len(price)>0 else ‘‘    # python的三目運算 :為真時的結果 if 判定條件 else 為假時的結果
            title = title[0] if len(title)>0 else ‘‘
            href = href[0] if len(href)>0 else ‘‘
            subTitle = subTitle[0] if len(subTitle)>0 else ‘‘
            deadline = deadline[0] if len(deadline)>0 else ‘‘
            print price,title,href,subTitle,deadline
            print ‘---------------------------------------------------------------------------------------‘
            spiderDetail(href)
    except:
        print ‘出錯‘

def spiderDetail(url):
    if url is None:
        return None

    try:
        htmlText = requests.get(url).text
        selector = etree.HTML(htmlText)
        aboutHref = selector.xpath(‘//*[@id="utopia_widget_10"]/div[1]/div/div/div/p[1]/a/@href‘)
        price = selector.xpath(‘//*[@id="utopia_widget_10"]/div[1]/div/div/div/p[1]/text()‘)
        title = selector.xpath(‘//*[@id="utopia_widget_10"]/div[1]/div/div/h2/text()‘)
        contentDetail = selector.xpath(‘//*[@id="utopia_widget_10"]/div[2]/div/div[1]/div[1]/text()‘)
        publishDate = selector.xpath(‘//*[@id="utopia_widget_10"]/div[2]/div/div[1]/p/text()‘)
        aboutHref = aboutHref[0] if len(aboutHref) > 0 else ‘‘  # python的三目運算 :為真時的結果 if 判定條件 else 為假時的結果
        price = price[0] if len(price) > 0 else ‘‘
        title = title[0] if len(title) > 0 else ‘‘
        contentDetail = contentDetail[0] if len(contentDetail) > 0 else ‘‘
        publishDate = publishDate[0] if len(publishDate) > 0 else ‘‘
        print aboutHref,price,title,contentDetail,publishDate
    except:
      print ‘出錯‘

if ‘_main_‘:
  getUrl()

我發現代碼運行完後，後面有幾頁數據沒有被爬取，我再也沒有辦法去訪問豬八戒網站了，等過了一段時間才能去訪問他們的網站，這就很尷尬了，我得防止被封IP

如何防止爬取數據的時候被網站封IP這裏有一些套路.查了一些套路

1.修改請求頭

之前的爬蟲代碼沒有添加頭部，這裏我添加了頭部，模擬成瀏覽器去訪問網站

        user_agent = ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4295.400‘

        headers = {‘User-Agent‘: user_agent}
        htmlText = requests.get(url, headers=headers, proxies=proxies).text
2.采用代理IP

當自己的ip被網站封了之後，只能采用代理ip的方式進行爬取，所以每次爬取的時候盡量用代理ip來爬取，封了代理還有代理。

這裏我引用了這個博客的一段代碼來生成ip地址:http://blog.csdn.net/lammonpeter/article/details/52917264

生成代理ip,大家可以直接把這個代碼拿去用

# coding=utf-8
# IP地址取自國內髙匿代理IP網站：http://www.xicidaili.com/nn/
# 僅僅爬取首頁IP地址就足夠一般使用

from bs4 import BeautifulSoup
import requests
import random

def get_ip_list(url, headers):
    web_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(web_data.text, ‘lxml‘)
    ips = soup.find_all(‘tr‘)
    ip_list = []
    for i in range(1, len(ips)):
        ip_info = ips[i]
        tds = ip_info.find_all(‘td‘)
        ip_list.append(tds[1].text + ‘:‘ + tds[2].text)
    return ip_list

def get_random_ip(ip_list):
    proxy_list = []
    for ip in ip_list:
        proxy_list.append(‘http://‘ + ip)
    proxy_ip = random.choice(proxy_list)
    proxies = {‘http‘: proxy_ip}
    return proxies

if __name__ == ‘__main__‘:
    url = ‘http://www.xicidaili.com/nn/‘
    headers = {
        ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36‘
    }
    ip_list = get_ip_list(url, headers=headers)
    proxies = get_random_ip(ip_list)
    print(proxies)

好了我用上面的代碼給我生成了一批ip地址（有些ip地址可能無效，但只要不封我自己的ip就可以了,哈哈），然後我就可以在我的請求頭部添加ip地址

給我們的請求添加代理ip

        proxies = {
            ‘http‘: ‘http://124.72.109.183:8118‘,
            ‘http‘: ‘http://49.85.1.79:31666‘

        }
        user_agent = ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4295.400‘

        headers = {‘User-Agent‘: user_agent}
        htmlText = requests.get(url, headers=headers, timeout=3, proxies=proxies).text

目前知道的就

最後完整代碼如下：


# coding=utf-8

import requests
import time
from lxml import etree

def getUrl():
    for i in range(33):
        url = ‘http://task.zbj.com/t-ppsj/p{}s5.html‘.format(i+1)
        spiderPage(url)

def spiderPage(url):
    if url is None:
        return None

    try:
        proxies = {
            ‘http‘: ‘http://221.202.248.52:80‘,

        }
        user_agent = ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4295.400‘

        headers = {‘User-Agent‘: user_agent}
        htmlText = requests.get(url, headers=headers,proxies=proxies).text

        selector = etree.HTML(htmlText)
        tds = selector.xpath(‘//*[@class="tab-switch tab-progress"]/table/tr‘)
        for td in tds:
            price = td.xpath(‘./td/p/em/text()‘)
            href = td.xpath(‘./td/p/a/@href‘)
            title = td.xpath(‘./td/p/a/text()‘)
            subTitle = td.xpath(‘./td/p/text()‘)
            deadline = td.xpath(‘./td/span/text()‘)
            price = price[0] if len(price)>0 else ‘‘    # python的三目運算 :為真時的結果 if 判定條件 else 為假時的結果
            title = title[0] if len(title)>0 else ‘‘
            href = href[0] if len(href)>0 else ‘‘
            subTitle = subTitle[0] if len(subTitle)>0 else ‘‘
            deadline = deadline[0] if len(deadline)>0 else ‘‘
            print price,title,href,subTitle,deadline
            print ‘---------------------------------------------------------------------------------------‘
            spiderDetail(href)
    except Exception,e:
        print ‘出錯‘,e.message

def spiderDetail(url):
    if url is None:
        return None

    try:
        htmlText = requests.get(url).text
        selector = etree.HTML(htmlText)
        aboutHref = selector.xpath(‘//*[@id="utopia_widget_10"]/div[1]/div/div/div/p[1]/a/@href‘)
        price = selector.xpath(‘//*[@id="utopia_widget_10"]/div[1]/div/div/div/p[1]/text()‘)
        title = selector.xpath(‘//*[@id="utopia_widget_10"]/div[1]/div/div/h2/text()‘)
        contentDetail = selector.xpath(‘//*[@id="utopia_widget_10"]/div[2]/div/div[1]/div[1]/text()‘)
        publishDate = selector.xpath(‘//*[@id="utopia_widget_10"]/div[2]/div/div[1]/p/text()‘)
        aboutHref = aboutHref[0] if len(aboutHref) > 0 else ‘‘  # python的三目運算 :為真時的結果 if 判定條件 else 為假時的結果
        price = price[0] if len(price) > 0 else ‘‘
        title = title[0] if len(title) > 0 else ‘‘
        contentDetail = contentDetail[0] if len(contentDetail) > 0 else ‘‘
        publishDate = publishDate[0] if len(publishDate) > 0 else ‘‘
        print aboutHref,price,title,contentDetail,publishDate
    except:
      print ‘出錯‘

if ‘_main_‘:
    getUrl()

最後程序完美運行，再也沒有出現被封IP的情況。當然防止被封IP肯定不止這些了，這還需要進一步探索!

最後

當然數據我是已經抓取過來了，但是我的數據都沒有完美呈現出來，我應該寫入execl文件，或者數據庫中啊，這樣才能方便采用.所以接下來我準備了使用
Python操作execl,mysql,mongoDB

Python爬取大量數據時防止被封IP

相關推薦

Python爬取大量數據時防止被封IP

ble tree user range ask ron 都沒有 進一步 pri 繼續老套路，這兩天我爬取了豬八戒上的一些數據 網址是：http://task.zbj.com/t-ppsj/p1s5.html，可能是由於爬取的數據量有點多吧，結果我的IP被封了，需要自己手動來

Python爬取房產數據，在地圖上展現！

exc pre 解析 see 爬取 註意 app domain 數據庫連接 小夥伴，我又來了，這次我們寫的是用python爬蟲爬取烏魯木齊的房產數據並展示在地圖上，地圖工具我用的是 BDP個人版-免費在線數據分析軟件，數據可視化軟件 ，這個可以導入csv或者excel數據。

Python題目5：爬取CFDA數據

get yun div ont header lac 函數 信息 con import requests class Cfda: # 初始化函數 def __init__(self): # 初始化要提交數據的網址 self

大神教你如果學習Python爬蟲 如何才能高效地爬取海量數據

Python 爬蟲 分布式 大數據 編程 Python如何才能高效地爬取海量數據我們都知道在互聯網時代，數據才是最重要的，而且如果把數據用用得好的話，會創造很大的價值空間。但是沒有大量的數據，怎麽來創建價值呢？如果是自己的業務每天都能產生大量的數據，那麽數據量的來源問題就解決啦，但是沒有數

python 使用selenium和requests爬取頁面數據

ret pre tex 爬取 test user 發現 rom request 目的：獲取某網站某用戶下市場大於1000秒的視頻信息 1.本想通過接口獲得結果，但是使用post發送信息到接口，提示服務端錯誤。 2.通過requests獲取頁面結果，使用html解析工具，發現

python之爬取網頁數據總結（一）

固定 環境變量 http lec 了解 線程 rom 第一個 正則 今天嘗試使用python，爬取網頁數據。因為python是新安裝好的，所以要正常運行爬取數據的代碼需要提前安裝插件。分別為requests Beautifulsoup4 lxml 三個插件。 因

解決PHP導出大量數據時設置超鏈接的問題

大量數據 由於 發現 excel文件 格式 php 文件 XML 導出 今天在做導出excel功能時，由於要導出的數據很大，所以沒有使用PHPExcel，而是使用動態生成文件流的方式來導出，這時遇到一個問題，怎麽把某個單元格的值設置為超鏈接呢。 設置單元格的值的代碼如下：

1.scrapy爬取的數據保存到es中

create date() city sql none tin alc set reat 先建立es的mapping，也就是建立在es中建立一個空的Index，代碼如下：執行後就會在es建lagou 這個index。 from datetime import

03：requests與BeautifulSoup結合爬取網頁數據應用

fas bsp 2.3 m2e bae DC 信息 type 取數 1.1 爬蟲相關模塊命令回顧 　　1、requests模塊 1、 pip install requests 2、 response =

使用webdriver+urllib爬取網頁數據

環境 都是 mac net www med har turn 當我 urilib是python的標準庫，當我們使用Python爬取網頁數據時，往往用的是urllib模塊，通過調用urllib模塊的urlopen(url)方法返回網頁對象，並使用read()方法獲得url的h

爬蟲系列之鏈家的信息爬取及數據分析

enc lib art andro 函數 strip 一次 read 訪問 關於鏈家的數據爬取和分析 已經實現 1.房屋數據爬取並下載 2.房屋按區域分析 3.房屋按經紀人分析 4.前十經紀人 5.經紀人最有可能的位置分析 6.實現以地區劃分房屋 目前存在

把python爬出來的數據，用pymysql插入數據庫中

爬取貓眼數據

api lms () ons 請求 .data nts end 城市 //源碼 # # 導包#import pyximportimport requestsfrom fake_useragent import UserAgentimport json import os

利用linux curl爬取網站數據

sed 紅色 9.png 規則 pad 內容 zha 執行 wget 看到一個看球網站的以下截圖紅色框數據，想爬取下來，通常爬取網站數據一般都會從java或者python爬取，但本人這兩個都不會，只會shell腳本，於是硬著頭皮試一下用shell爬取，方法很笨重，但旨在

另類爬取表格數據

但是 code request 獲取 import 裏的 www. date panda import pandas as pd df = pd.read_html("http://www.air-level.com/air/beijing/", encoding

使用python爬去kibana數據

headers ava ref query active mat zone .post 字符串 import requestsfrom openpyxl import Workbook #看了網上很多博文，說頭部這又‘Content-Type‘: ‘application

3.10爬取網頁數據示例（二）

lec href icu fin done mage con img else import requestsimport osimport bs4url=‘http://xkcd.com‘ml=‘F:\ABD‘os.makedirs(ml,exist_ok=True)wh

爬取flash數據

serialize 查看 引入 repo list() eid lse blazeds 房產 關於html爬取數據的文章已經有很多了，我今天主要和大家交流的是如何爬取flash網頁的數據。這方面資料相對比較少，主要是html5興起後現在flash站很少了，不過用於技術

利用python爬取龍虎榜數據及後續分析

登錄 one 可能 股市 .com 爬蟲 但我 由於 相關 ##之前已經有很多人寫過相關內容，但我之前並未閱讀過，這個爬蟲也是按照自己的思路寫的，可能比較醜陋，請見諒！ 本人作為Python爬蟲新手和股市韭菜，由於時間原因每晚沒辦法一個個翻龍虎榜數據，所以希望借助爬蟲篩選出

Python爬取百度貼吧數據

utf-8 支持我 family encode code word keyword 上一條 時間 　　本渣除了工作外，在生活上還是有些愛好，有些東西，一旦染上，就無法自拔，無法上岸，從此走上一條不歸路。花鳥魚蟲便是我堅持了數十年的愛好。 　　本渣還是需要上班，才能支持我的