1. 程式人生 > 其它 >爬蟲篇-如何下載selenium及其適配谷歌瀏覽器外掛chromedriver(含chrome各版本及下載地址)

爬蟲篇-如何下載selenium及其適配谷歌瀏覽器外掛chromedriver(含chrome各版本及下載地址)

最近換了電腦,練習爬蟲時用到selenium,結果在重新安裝chromedriver外掛的時候發現原網址不能使用,找了好久終於找到了了新網址,順便更一篇詳細使用的文章,希望可以對螢幕前的你有所幫助。本篇文章共分以下三個板塊。

一、什麼是 selenium?

二、安裝selenium

三、下載chrome driver

 

一、什麼是 selenium?

selenium原本被用於網頁測試,是瀏覽器自動化測試框架,但在爬蟲領域,它也實現了極大的價值。selenium 可以控制你的瀏覽器,模仿人瀏覽網頁,從而獲取資料,自動操作等。簡單來說,只需執行你的程式碼,它就會實現自動開啟瀏覽器,甚至還能輸入賬戶密碼,實現網頁登陸等一系列自動操作。

有了 selenium,我們便不再需要判斷網頁資料載入的方式,只要讓 selenium 自動控制瀏覽器,就像有雙無形的手,控制著你的滑鼠和鍵盤,自動地幫你幹活。爬取資料?自動搶票?這些當然統統都不在話下。

不過 selenium 也並非沒有缺點。因為要開啟瀏覽器並控制它,所以和我們以前學的爬蟲相比,它佔用的資源會更多,爬取資料的效率也會有所降低,不過至少比我們手動操作還是快很多的。

 

二、安裝selenium

方法一:和其他 Python 第三方庫的安裝一樣,我們要在命令列中使用 pip 命令安裝 selenium:

方法二:我用的pycharm,直接在裡面安裝。File——settings——Project——Python Interpreter——點選"+"——搜尋”selenium"——install

 

三、下載chrome driver

使用elenium 還需要安裝相應的瀏覽器驅動才能控制瀏覽器(最好使用 Chrome 瀏覽器),後面都以 Chrome 瀏覽器 為例,其他瀏覽器大同小異。

檢視Chrome版本:首先開啟 Chrome 瀏覽器,依次點選瀏覽器右上角的 三個點 - 幫助 - 關於 Google Chrome。

如圖,我的瀏覽器的版本資訊是 100.0.4896.88。

下載驅動:開啟http://chromedriver.storage.googleapis.com/index.html網站,裡面有很多版本的驅動,其中可能沒有準確對應我們瀏覽器版本的驅動。我們選擇最接近的版本即可,我選擇了100.0.4896.60這個版本。我用的Windows系統,因為64位向下相容,Windows直接下載32位即可。Windows 系統下載裡面的 chromedriver_win32.zip 檔案,MacOS 下載 chromedriver_mac64.zip。

移動驅動到Python安裝目錄:下載完成後解壓縮chromedriver ,Windows 系統得到 chromedriver.exe,MacOS 得到 chromedriver,這個就是我們需要的瀏覽器驅動。我們要將它放到 Python 所在安裝目錄裡。 如果你忘了 Python 的安裝目錄,可以根據下面的操作來找到。

在程式碼編輯器中執行以下程式碼,讓 Python 自己打印出所在的位置:

import sys
print(sys.executable)

# 輸出
# C:\Users\13781\PycharmProjects\spiderexercise\venv\Scripts\python.exe C:/Users/13781/PycharmProjects/spiderexercise/shan.py
# C:\Users\13781\PycharmProjects\spiderexercise\venv\Scripts\python.exe

一般情況下,Windows 系統:C:\xxx\xxx\python.exe;MacOS:/Users/xxx/xxx/xxx/python。

去掉末尾的 \python.exe 或者 /python 就是 Python 所在的目錄。開啟目錄後,我們將下載好的驅動放到目錄中即可。

驗證驅動是否安裝成功:Windows 系統在的命令列中輸入 chromedriver 命令,MacOS 系統在終端中輸入 chromedriver 命令。

如果出現如圖所示的內容,就證明驅動已經安裝成功了。

 

接下來~就盡情地享受selenium帶給你的奇幻魅力吧~