1. 程式人生 > >selenium模組(一):介紹及安裝

selenium模組(一):介紹及安裝

一、介紹

selenium最初是一個自動化測試工具,而爬蟲中使用它主要是為了解決requests無法直接執行JavaScript程式碼的問題。

selenium本質是通過驅動瀏覽器,完全模擬瀏覽器的操作,比如跳轉、輸入、點選、下拉等,來拿到網頁渲染之後的結果,可支援多種瀏覽器

from selenium import webdriver
browser=webdriver.Chrome()
browser=webdriver.Firefox()
browser=webdriver.PhantomJS()
browser=webdriver.Safari()
browser=webdriver.Edge()

官網:http://selenium-python.readthedocs.io

二、安裝

(一)安裝:selenium+chromedriver

pip3 install selenium
下載chromdriver.exe放到python安裝路徑的scripts目錄中即可,注意最新版本是2.29,並非2.9
下載連結:http://npm.taobao.org/mirrors/chromedriver/2.29/

#驗證安裝

C:\Users\Administrator>python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> driver=webdriver.Chrome() #彈出瀏覽器
>>> driver.get('https://www.baidu.com')
>>> driver.page_source

#注意:
selenium3預設支援的webdriver是Firfox,而Firefox需要安裝geckodriver
下載連結:https://github.com/mozilla/geckodriver/releases

(二)安裝:selenium+phantomjs

pip3 install selenium
下載phantomjs,解壓後把phantomjs.exe所在的bin目錄放到環境變數
下載連結:http://phantomjs.org/download.html

#驗證安裝

C:\Users\Administrator>phantomjs
phantomjs> console.log('egon gaga')
egon gaga
undefined
phantomjs> ^C
C:\Users\Administrator>python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> driver=webdriver.PhantomJS() #無介面瀏覽器
>>> driver.get('https://www.baidu.com')
>>> driver.page_source