1. 程式人生 > >python 爬蟲 使用selenium 控制瀏覽器 進行搜尋操作

python 爬蟲 使用selenium 控制瀏覽器 進行搜尋操作

首先需要安裝selenium:

第一種:可以自己下載selenium tar.gz包,下載到python目錄下:解壓到當前資料夾

在cmd命令列:進入到解壓包中,進行安裝。安裝完成之後,如果是eclipse中,請 clean project之後,pydev才能識別新安裝的包
第二種: 可以直接使用在命令視窗: pip install selenium進行安裝==================================使用selenium模擬瀏覽器登入時,需要下載對應瀏覽器的核心:chorme核心的下載地址:注意根據自己瀏覽器版本進行對應下載:點選下載
將chromedriver,放在chorme.exe啟動的相同位置
python程式碼:# -*- coding:utf-8 -*-from selenium import webdriver import os#引入chromedriver.exechromedriver="C:/Program Files (x86)/Google/Chrome/Application/chromedriver.exe"os.environ["webdriver.chrome.driver"] = chromedriverbrowser = webdriver.Chrome(chromedriver)#設定瀏覽器需要開啟的urlurl = "https://www.baidu.com/"
browser.get(url)#在百度搜索框中輸入關鍵字"python"browser.find_element_by_id("kw").send_keys("python")#單擊搜尋按鈕browser.find_element_by_id("su").click() #關閉瀏覽器#browser.quit()

=================以上是使用selenium進行模擬瀏覽器登入,需要開啟瀏覽器,其實可以增加無頭引數,不啟動瀏覽器進行爬取操作。下次再寫=====================