Selenium的安裝和簡單實用
Selenium是一個用於Web應用程序測試的工具。
Selenium測試直接運行在瀏覽器中,就像真正的用戶在操作一樣。支持的瀏覽器包括IE(7, 8, 9, 10, 11),Firefox,Safari,Chrome,Opera等。
這個工具的主要功能包括:測試與瀏覽器的兼容性——測試你的應用程序看是否能夠很好得工作在不同瀏覽器和操作系統之上。測試系統功能——創建回歸測試檢驗軟件功能和用戶需求。
而用在爬蟲上則是模擬正常用戶訪問網頁並獲取數據。我們可以利用它來模擬用戶點擊訪問網站,繞過一些復雜的認證場景
通過selenium + 驅動瀏覽器這種組合可以直接渲染解析js,繞過大部分的參數構造和反爬
註意事項:
新版本的Selenium已經不支持phantomis,原作者也已經放棄維護該項目了。
安裝
ChromeDriver(瀏覽器驅動)安裝
使用selenium驅動chrome瀏覽器需要下載chromedriver,而且chromedriver版本需要與chrome的版本對應,版本錯誤的話則會運行報錯。
Chromedriver下載地址:http://chromedriver.storage.googleapis.com/index.html
Chromedriver與Chrome版本映射表:
chromedriver版本 | 支持的Chrome版本 |
---|---|
v2.37 | v64-66 |
v2.36 |
v63-65 |
v2.35 | v62-64 |
v2.34 | v61-63 |
v2.33 | v60-62 |
v2.32 | v59-61 |
v2.31 | v58-60 |
v2.30 | v58-60 |
v2.29 | v56-58 |
v2.28 | v55-57 |
v2.27 | v54-56 |
v2.26 | v53-55 |
v2.25 | v53-55 |
v2.24 | v52-54 |
v2.23 | v51-53 |
Mac/Linux
下載完成解壓後,將文件移動至/usr/local/bin
目錄中,則可以正常使用。
Windows
下載完成解壓後,將文件移動到一個配置了環境變量的文件夾中,例如你的Python安裝文件夾。
Selenium安裝
Selenium
的安裝非常簡單,直接pip就可以搞定。
pip install selenium
簡單使用
現在運行一個空白頁面的瀏覽器窗口
from selenium import webdriver from selenium.webdriver.chrome.options import Options # 實例化一個啟動參數對象 chrome_options = Options() # 設置瀏覽器窗口大小 chrome_options.add_argument(‘--window-size=1366,768‘) # 啟動瀏覽器 browser = webdriver.Chrome(chrome_options=chrome_options)
點擊運行,就會自動彈出一個空白的瀏覽器窗口了
接下來,我們再來嘗試訪問一下百度的首頁面
from selenium import webdriver from selenium.webdriver.chrome.options import Options # 實例化一個啟動參數對象 chrome_options = Options() # 設置瀏覽器窗口大小 chrome_options.add_argument(‘--window-size=1366,768‘) # 啟動瀏覽器 browser = webdriver.Chrome(chrome_options=chrome_options) # 請求百度首頁 browser.get(‘http://www.baidu.com‘)
這樣程序點擊運行,彈出的瀏覽器會自動轉到百度的首頁了
更加詳細的內容,會在接下來的內容中講到
Selenium的安裝和簡單實用