爬蟲-------selenium-------無頭瀏覽器
無頭瀏覽器
1 什麼是selenium
Selenium是一個Web的自動化測試工具，最初是為網站自動化測試而開發的，Selenium 可以直接執行在瀏覽器上，它支援所有主流的瀏覽器（包括PhantomJS這些無介面的瀏覽器），可以接收指令，讓瀏覽器自動載入頁面，獲取需要的資料，甚至頁面截圖
2 PhantomJS的介紹
PhantomJS 是一個基於Webkit的“無介面”(headless)瀏覽器，它會把網站載入到記憶體並執行頁面上的 JavaScript
下載地址：http://phantomjs.org/download.html
3 Chromedriver的介紹
Chromedriver 也是一個能夠被selenium驅動的瀏覽器，但是和PhantomJS的區別在於它是有介面的
下載地址：https://npm.taobao.org/mirrors/chromedriver
4 driver的安裝
最簡單的安裝方式是：解壓後把bin目錄下的可執行檔案移動到環境變數下，比如/usr/bin 或者是/usr/local/bin下面
5 PhantomJS安裝示例
-
5.1 下載PhantomJS：
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
-
5.2 解壓並建立軟連線：
-
tar -xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2
-
sudo cp -R phantomjs-2.1.1-linux-x86_64 /usr/local/share/
-
sudo ln -sf /usr/local/share/phantomjs-2.1.1-linux-x86_64/bin/phantomjs
/usr/local/bin/
6 chromedriver安裝示例
- ----- Linux 下安裝方式
chromedriver_linux64.zip : 版本 ChromeDriver v2.22 (2016-06-06)
（支援 Chrome v49-52，當前Ubuntu虛擬機器下的Chrome版本為50.0）
1. unzip chromedriver_linux64.zip
2. sudo chmod +x chromedriver
3. sudo mv chromedriver /usr/local/bin/
- ----- MacOS X 下安裝方式
chromedriver_mac64.zip : 版本 ChromeDriver v2.32 (2017-08-30)
（支援 Chrome v59-61）
1. 安裝 同Linux
----- Windows 下安裝方式
chromedriver_win32.zip : 版本 ChromeDriver v2.32 (2017-08-30)
（支援 Chrome v59-61）
1. 解壓 chromedriver_win32.zip
2. 將 chromedriver 移動到 Python安裝目錄下
（其實放哪都可以，但是需要配環境變數，放Python安裝目錄下省事）
注意：Chromedriver和電腦上的chrome版本有對應關係，建議使用最新的Chromedriver版本並且更新chrome瀏覽器到最新版
小結
能夠安裝PhtantomJs和Chromedriver瀏覽器
能夠知道selenium是自動化測試工具