selenium如何應對網頁內容需要滑鼠滾動載入的問題
阿新 • • 發佈:2019-02-05
相信大家在selenium爬取網頁的時候都遇到過這樣的問題:就是網頁內容需要用滑鼠滾動載入剩餘內容,而不是一次全部加載出網頁的全部內容,這個時候如果要模擬翻頁的時候就必須加載出全部的內容,不然定位元素會找不到,出現報錯。
這裡提供兩種方法供大家參考
一,通過selenium模擬瀏覽器,然後設定瀏覽器高度足夠長,最後延時使之能夠將頁面的內容都能夠加載出來
import time
from selenium import webdriver
driver = webdriver.Firefox()
driver.set_window_size(1000,30000)
driver.get(url)
time .sleep(5)
二,通過selenium模擬瀏覽器下拉操作
from selenium import webdriver
import time
browser.execute_script("window.scrollBy(0,3000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,5000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,8000)")
time.sleep(1)