selenium模組(一):介紹及安裝
阿新 • • 發佈:2018-12-05
一、介紹
selenium最初是一個自動化測試工具,而爬蟲中使用它主要是為了解決requests無法直接執行JavaScript程式碼的問題。
selenium本質是通過驅動瀏覽器,完全模擬瀏覽器的操作,比如跳轉、輸入、點選、下拉等,來拿到網頁渲染之後的結果,可支援多種瀏覽器
from selenium import webdriver browser=webdriver.Chrome() browser=webdriver.Firefox() browser=webdriver.PhantomJS() browser=webdriver.Safari() browser=webdriver.Edge()
官網:http://selenium-python.readthedocs.io
二、安裝
(一)安裝:selenium+chromedriver
pip3 install selenium
下載chromdriver.exe放到python安裝路徑的scripts目錄中即可,注意最新版本是2.29,並非2.9
下載連結:http://npm.taobao.org/mirrors/chromedriver/2.29/
#驗證安裝
C:\Users\Administrator>python3 Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> from selenium import webdriver >>> driver=webdriver.Chrome() #彈出瀏覽器 >>> driver.get('https://www.baidu.com') >>> driver.page_source
#注意:
selenium3預設支援的webdriver是Firfox,而Firefox需要安裝geckodriver
下載連結:https://github.com/mozilla/geckodriver/releases
(二)安裝:selenium+phantomjs
pip3 install selenium
下載phantomjs,解壓後把phantomjs.exe所在的bin目錄放到環境變數
下載連結:http://phantomjs.org/download.html
#驗證安裝
C:\Users\Administrator>phantomjs phantomjs> console.log('egon gaga') egon gaga undefined phantomjs> ^C C:\Users\Administrator>python3 Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> from selenium import webdriver >>> driver=webdriver.PhantomJS() #無介面瀏覽器 >>> driver.get('https://www.baidu.com') >>> driver.page_source