1. 程式人生 > >網路爬蟲之使用pyppeteer替代selenium完美繞過webdriver檢測

網路爬蟲之使用pyppeteer替代selenium完美繞過webdriver檢測

1引言

曾經使用模擬瀏覽器操作(selenium + webdriver)來寫爬蟲,但是稍微有點反爬的網站都會對selenium和webdriver進行識別,網站只需要在前端js新增一下判斷指令碼,很容易就可以判斷出是真人訪問還是webdriver。雖然也可以通過中間代理的方式進行js注入遮蔽webdriver檢測,但是webdriver對瀏覽器的模擬操作(輸入、點選等等)都會留下webdriver的標記,同樣會被識別出來,要繞過這種檢測,只有重新編譯webdriver,麻煩自不必說,難度不是一般大。

作為selenium+webdriver的優秀替代,pyppeteer就是一個很好的選擇。

2 手動安裝

通過pip使用豆瓣源加速安裝pyppeteer:

pip install -i https://pypi.douban.com/simple pypeteer

按照官方手冊,先來感受一下:

import asyncio
from pyppeteer import launch
 
async def main():
browser = await launch(headless=False)
page = await browser.newPage()
await page.goto('http://www.baidu.com/')
await asyncio.sleep(100)
await browser.close()
 
asyncio.get_event_loop().run_until_complete(main())

pyppeteer第一次執行時,會自動下載chromium瀏覽器,時間可能會有些長。不過,我第一次執行時,直接報錯:

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1056)

嘗試多種方法無果,無奈只能手動下載,但手動下載的方法網上資料也幾乎沒有,讓我來做這個先行者吧。

上面程式碼執行雖然報錯,但是控制檯前兩行卻提供了很有用的資訊:

[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.

可以看到,下載功能是由pyppeteer.chromium_downloader模組完成的,那麼我們進入這個模組檢視原始碼。

在這個模組原始碼中,我們可以看到downloadURLs、chromiumExecutable等變數,很明顯指的就是下載連結和chromium的可執行檔案路徑。我們重點關注一下可執行檔案路徑

chromiumExecutable:
chromiumExecutable = {
'linux': DOWNLOADS_FOLDER / REVISION / 'chrome-linux' / 'chrome',
'mac': (DOWNLOADS_FOLDER / REVISION / 'chrome-mac' / 'Chromium.app' /
'Contents' / 'MacOS' / 'Chromium'),
'win32': DOWNLOADS_FOLDER / REVISION / 'chrome-win32' / 'chrome.exe',
'win64': DOWNLOADS_FOLDER / REVISION / 'chrome-win32' / 'chrome.exe',
}

可見,無論在哪個平臺下,chromiumExecutable都是由是4個部分組成,其中 DOWNLOADS_FOLDER 和 REVISION是定義好的變數:

DOWNLOADS_FOLDER = Path(__pyppeteer_home__) / 'local-chromium'

進一步檢視可以發現:

__pyppeteer_home__ = os.environ.get('PYPPETEER_HOME', AppDirs('pyppeteer').user_data_dir)
REVISION = os.environ.get('PYPPETEER_CHROMIUM_REVISION', __chromium_revision__)

所以,DOWNLOADS_FOLDER 和 REVISION都是讀取對應環境變數設定好的值,如果沒有設定,就使用預設值。我們來輸出一下,看看預設值:

import pyppeteer.chromium_downloader
print('預設版本是:{}'.format(pyppeteer.__chromium_revision__))
print('可執行檔案預設路徑:{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64')))
print('win64平臺下載連結為:{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))

輸出結果如下:

預設版本是:575458
可執行檔案預設路徑:C:\Users\Administrator\AppData\Local\pyppeteer\pyppeteer\local-chromium\575458\chrome-win32\chrome.exe
win64平臺下載連結為:https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip

 在使用上面程式碼的時候,你可以將win64換成你的平臺就好了,有了上面的下載連結,這個時候就可以先開始下載著chromium瀏覽器(有些慢),然後繼續往下看。

對於版本,沒什麼好說的,是用預設的就好了。但是,對於chromium的可執行檔案路徑,預設是在C盤,對於有C盤潔癖的我,咋看咋不舒服,那就改了吧。從上面的分析中我們可以知道,C:\Users\Administrator\AppData\Local\pyppeteer\pyppeteer這一部分讀取的是環境變數或者預設值,所以,我們可以通過配置環境變數改這一部分(或者也可以直接改原始碼,讀取環境變數那一行,直接設為固定值),通過os.environ新增PYPPETEER_HOME這一變數值,例如我想把我的chromium放在D盤的Program Files資料夾下:
import os
os.environ['PYPPETEER_HOME'] = 'D:\Program Files'
import pyppeteer.chromium_downloader
print('預設版本是:{}'.format(pyppeteer.__chromium_revision__))
print('可執行檔案預設路徑:{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64')))
print('win64平臺下載連結為:{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))

輸出如下:

預設版本是:575458
可執行檔案預設路徑:D:\Program Files\local-chromium\575458\chrome-win32\chrome.exe
win64平臺下載連結為:https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip

 特別提醒:上面設定環境變數的那一行,必須在匯入pyppeteer這一行千米,否則設定無效。

上面這種方法你需要在每次使用pypeeteer之前通過這行程式碼設定一下,實在麻煩,所以,我還是更願意直接在windows系統裡面新增這個變數:

雖然我們把環境變數設定為D:\Program Files,但是層層資料夾之後,才到真正的可執行檔案chrome.exe,下載好的壓縮包解壓後,所有檔案都在名為chrome-win的資料夾中,所以,我們需要在D:\Program Files建立local-chromium\575458這兩個資料夾(575458是上面的版本號,記得修改為你的版本號),然後將解壓得到的chrome-win資料夾,重新命名為chrome-win32,然後直接拷貝進去就好,整個安裝過程就完成了。

再來試試最初(最上面)的程式碼,你會看到,已經可以成功執行。

我相信,大多數閱讀這篇博文的讀者都是用pyppeteer來開發爬蟲(別說維護世界和平,我不信),那麼接下來,重點來說說爬蟲中要用到的一些主要操作。

3 主要操作

3.1 開啟瀏覽器

開啟瀏覽器是通過pyppeteer.launcher.launch(options: dict = None, **kwargs) 方法,執行該函式後,會得到一個pyppeteer.browser.Browser例項,也就是說瀏覽器物件例項。launch方法是必須使用的方法,所以,詳細學學它的引數,你也直接閱讀官方文件,因為我也是直接翻譯的:

  • ignoreHTTPSErrors (bool): 是否HTTPS錯誤,某人情況下為False.
  • headless (bool): 是否以無頭模式(無介面模式)執行,預設為True,為True時是不會彈出可視介面的,所以,上面程式碼執行時設定headless=False。注意,下面還有個devtools引數,表示是否出現開啟除錯視窗,如果devtools設定為True,headless就算設定為False也會彈出可視介面。
  • executablePath (str): Chromium或Chrome瀏覽器的可執行檔案路徑,如果設定,則使用設定的這個路徑,不使用預設設定.
  • slowMo (int|float): 設定這個引數可以延遲pyppeteer的操作,單位是毫秒.
  • args (List[str]): 要傳遞給瀏覽器程序的一些其他引數.
  • ignoreDefaultArgs (bool): 如果有些引數你不想使用預設值,那麼,通過這個引數設定,不過,孩子,最好別用,有危險(電腦會爆炸).
  • handleSIGINT (bool): 是否響應 SIGINT 訊號,是否允許通過快捷鍵Ctrl+C來終止瀏覽器程序,預設值為True,也就是允許.
  • handleSIGTERM (bool): 是否響應 SIGTERM 訊號,也就是說kill命令關閉瀏覽器,,預設值為True,也就是允許.
  • handleSIGHUP (bool): 是否響應 SIGHUP 訊號,即掛起訊號,預設值為True,也就是允許.
  • dumpio (bool): 是要將瀏覽器程序的輸出傳遞給process.stdout 和 process.stderr 物件,預設為False不傳遞。
  • userDataDir (str): 使用者資料檔案目錄.
  • env (dict): 以字典的形式傳遞給瀏覽器環境變數.
  • devtools (bool): 是否開啟除錯視窗,上面介紹headless引數是說過,預設值為False不開啟.
  • logLevel (int|str): 日誌級別,預設和 root logger 物件的級別相同.
  • autoClose (bool): 當所有操作都執行完後,是否自動關閉瀏覽器,預設True,自動關閉.
  • loop (asyncio.AbstractEventLoop): 時間迴圈。
  • appMode (bool): Deprecated.

開啟瀏覽器操作簡單,看引數就行,不多介紹。

3.2 調整視窗大小

如果你運行了上面的程式碼,你會發現,開啟的頁面只在視窗左上角一小塊顯示,看著很彆扭,這是因為pyppeteer預設視窗大小是800*600,所以,調整一下吧。調整視窗大小通過方法實現,看下面程式碼,最大化視窗:

import asyncio
from pyppeteer import launch
 
def screen_size():
    """使用tkinter獲取螢幕大小"""
    import tkinter
    tk = tkinter.Tk()
    width = tk.winfo_screenwidth()
    height = tk.winfo_screenheight()
    tk.quit()
    return width, height
 
async def main():
    browser = await launch(headless=False)
    page = await browser.newPage()
    width, height = screen_size()
    await page.setViewport({ # 最大化視窗
        "width": width,
        "height": height
    })
await page.goto('http://www.baidu.com/')
await asyncio.sleep(100)
await browser.close()
 
asyncio.get_event_loop().run_until_complete(main())    

3.3 設定userAgent

常規操作,不多說,上程式碼:

import asyncio
from pyppeteer import launch
 
async def main():
browser = await launch(headless=False)
page = await browser.newPage()
# 設定請求頭userAgent
await page.setUserAgent('Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Mobile Safari/537.36')
await page.goto('http://www.baidu.com/')
await asyncio.sleep(100)
await browser.close()
 
asyncio.get_event_loop().run_until_complete(main())

3.4 執行js指令碼

有時候,為了達成某些目的(例如遮蔽網站原有js),我們不可避免得需要執行一些js指令碼。執行js指令碼通過evaluate方法。如下所示,我們通過js來修改window.navigator.webdriver屬性的值,由此繞過網站對webdriver的檢測:

import asyncio
from pyppeteer import launch
 
async def main():
js1 = '''() =>{
 
    Object.defineProperties(navigator,{
    webdriver:{
        get: () => false
        }
    })
}'''
 
js2 = '''() => {
    alert (
        window.navigator.webdriver
    )
}'''
browser = await launch({'headless':False, 'args':['--no-sandbox'],})
 
page = await browser.newPage()
await page.goto('https://h5.ele.me/login/')
await page.evaluate(js1)
await page.evaluate(js2)
 
asyncio.get_event_loop().run_until_complete(main())

在上面程式碼中,通過page.evalute方法執行了兩段js指令碼,第一段指令碼將webdriver的屬性值設為false,第二段程式碼在此讀取 webdriver屬性值,輸出為false。

3.5 模擬操作

pyppeteer提供了Keyboard和Mouse兩個類來實現模擬操作,前者是用來實現鍵盤模擬,後者實現滑鼠模擬(還有其他觸屏之類的就不說了)。

主要來說說輸入和點選:

import os
os.environ['PYPPETEER_HOME'] = 'D:\Program Files'
import asyncio
from pyppeteer import launch
 
async def main():
browser = await launch(headless=False, args=['--disable-infobars'])
page = await browser.newPage()
await page.goto('https://h5.ele.me/login/')
await page.type('form section input', '12345678999') # 模擬鍵盤輸入手機號
await page.click('form section button') # 模擬滑鼠點選獲取驗證碼
await asyncio.sleep(200)
await browser.close()
 
asyncio.get_event_loop().run_until_complete(main())

上面的模擬操作中,無論是模擬鍵盤輸入還是滑鼠點選定位都是通過css選擇器,似乎pyppeteer的type和click直接模擬操作定位都只能通過css選擇器(或者是我在官方文件中沒找到方法),當然,要間接通過xpath先定位,然後再模擬操作也是可以的。下一小節中模擬登陸外賣平臺就是用這種方法,不過,這種方法要麻煩一些,不推薦。

 3.6 某電商平臺模擬登陸

我曾經用selenium + chrome 實現了模擬登陸這個電商平臺,但是實在是有些麻煩,繞過對webdriver的檢測不難,但是,通過webdriver對瀏覽器的每一步操作都會留下特殊的痕跡,會被平臺識別,這個必須通過重新編譯chrome的webdriver才能實現,麻煩得讓人想哭。不說了,都是淚,下面直接上用pyppeteer實現的程式碼:

import os
os.environ['PYPPETEER_HOME'] = 'D:\Program Files'
import asyncio
from pyppeteer import launch
 
def screen_size():
    """使用tkinter獲取螢幕大小"""
    import tkinter
    tk = tkinter.Tk()
    width = tk.winfo_screenwidth()
    height = tk.winfo_screenheight()
    tk.quit()
    return width, height
 
 
async def main():
    js1 = '''() =>{
 
        Object.defineProperties(navigator,{
        webdriver:{
            get: () => false
            }
        })
    }'''
 
    js2 = '''() => {
        alert (
            window.navigator.webdriver
        )
    }'''
    browser = await launch({'headless':False, 'args':['--no-sandbox'],})
 
    page = await browser.newPage()
    width, height = screen_size()
    await page.setViewport({ # 最大化視窗
        "width": width,
        "height": height
    })
    await page.goto('https://h5.ele.me/login/')
    await page.evaluate(js1)
    await page.evaluate(js2)
    input_sjh = await page.xpath('//form/section[1]/input[1]')
    click_yzm = await page.xpath('//form/section[1]/button[1]')
    input_yzm = await page.xpath('//form/section[2]/input[1]')
    but = await page.xpath('//form/section[2]/input[1]')
    print(input_sjh)
    await input_sjh[0].type('*****手機號********')
    await click_yzm[0].click()
    ya = input('請輸入驗證碼:')
    await input_yzm[0].type(str(ya))
    await but[0].click()
    await asyncio.sleep(3)
    await page.goto('https://www.ele.me/home/')
    await asyncio.sleep(100)
    await browser.close()
 
asyncio.get_event_loop().run_until_complete(main())

登入時,由於等待時間過長(我猜的)導致出現以下錯誤:

pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.

在github上找到了解決方法,似乎只能改原始碼,找到pyppeteer包下的connection.py模組,在其43行和44行改為下面這樣:

self._ws = websockets.client.connect(
# self._url, max_size=None, loop=self._loop)
self._url, max_size=None, loop=self._loop, ping_interval=None, ping_timeout=None)

再次執行就沒問題了。可以成功繞過官方對webdriver的檢測,登入成功,諸位可以自己嘗試一下。

4 總結

當使用selenium+webdriver寫爬蟲被檢測到時,pyppeteer是你得不二選擇,幾乎所有能在人工操作瀏覽器進行的操作通過pyppeteer都能實現,且能完美避開官方對webdriver的檢測。pyppeteer涉及的使用方法還很多,本文只介紹了常用方法的很小很小一部分,需要一說的是,pyppeteer的中文資料真的很少,多看看官方文件吧。

參考:

https://mp.weixin.qq.com/s?__biz=MzIzNzA4NDk3Nw==&mid=2457737358&idx=1&sn=fb88904cac67300130cabbc72bc4a650&chksm=ff44b0d0c83339c6496cabf8e09e8a9e0316df1032ef7523ba6ab7f4f6a4bea1cd4c02eb7d7b&mpshare=1&scene=1&srcid=&key=076402fec4624ccbe758d20c86fbbfabff1a1de62190662a69bb6decd76681b07d9b48c371a99b1237702740a0181d36410e1af661dad8732cc0c65b9f772fb3f988ce1840a07037579a9d134d7ad57d&ascene=1&uin=MjU5MjA4OTg0NA%3D%3D&devicetype=Windows+10&version=62060739&lang=zh_CN&pass_ticket=gFs%2B1sVN%2FxqIhOn1175cxFLsbS1MTzKJWqgpBIPWD9ilQcFn2fWqjXZ1AlHSt0fh https://miyakogi.github.io/pyppeteer/reference.ht