Python selenium —— 一定要會用selenium的等待,三種等待方式解讀(轉)
發現太多人不會用等待了,博主今天實在是忍不住要給大家講講等待的必要性。
很多人在群裏問,這個下拉框定位不到、那個彈出框定位不到…各種定位不到,其實大多數情況下就是兩種問題:1 有frame,2 沒有加等待。殊不知,你的代碼運行速度是什麽量級的,而瀏覽器加載渲染速度又是什麽量級的,就好比閃電俠和凹凸曼約好去打怪獸,然後閃電俠打完回來之後問凹凸曼你為啥還在穿鞋沒出門?凹凸曼分分中內心一萬只羊駝飛過,欺負哥速度慢,哥不跟你玩了,拋個異常撂挑子了。
那麽怎麽才能照顧到凹凸曼緩慢的加載速度呢?只有一個辦法,那就是等嘍。說到等,又有三種等法,且聽博主一一道來:
1. 強制等待
第一種也是最簡單粗暴的一種辦法就是強制等待sleep(xx),強制讓閃電俠等xx時間,不管凹凸曼能不能跟上速度,還是已經提前到了,都必須等xx時間。
看代碼:
# -*- coding: utf-8 -*-
from selenium import webdriver
from time import sleep
driver = webdriver.Firefox()
driver.get(‘https://huilansame.github.io‘)
sleep(3) # 強制等待3秒再執行下一步
print driver.current_url
driver.quit()
這種叫強制等待,不管你瀏覽器是否加載完了,程序都得等待3秒,3秒一到,繼續執行下面的代碼,作為調試很有用,有時候也可以在代碼裏這樣等待,不過不建議總用這種等待方式,太死板,嚴重影響程序執行速度。
2. 隱性等待
第二種辦法叫隱性等待,implicitly_wait(xx),隱性等待的意義是:閃電俠和凹凸曼約定好,不論閃電俠去哪兒,都要等凹凸曼xx秒,如果凹凸曼在這段時間內來了,則倆人立即出發去打怪獸,如果凹凸曼在規定時間內沒到,則閃電俠自己去,那自然就等著凹凸曼給你拋異常吧。
看代碼:
# -*- coding: utf-8 -*-
from selenium import webdriver
driver = webdriver.Firefox()
driver.implicitly_wait(30) # 隱性等待,最長等30秒
driver.get(‘https://huilansame.github.io‘)
print driver.current_url
driver.quit()
隱形等待是設置了一個最長等待時間,如果在規定時間內網頁加載完成,則執行下一步,否則一直等到時間截止,然後執行下一步。註意這裏有一個弊端,那就是程序會一直等待整個頁面加載完成,也就是一般情況下你看到瀏覽器標簽欄那個小圈不再轉,才會執行下一步,但有時候頁面想要的元素早就在加載完成了,但是因為個別js之類的東西特別慢,我仍得等到頁面全部完成才能執行下一步,我想等我要的元素出來之後就下一步怎麽辦?有辦法,這就要看selenium提供的另一種等待方式——顯性等待wait了。
需要特別說明的是:隱性等待對整個driver的周期都起作用,所以只要設置一次即可,我曾看到有人把隱性等待當成了sleep在用,走哪兒都來一下…
3. 顯性等待
第三種辦法就是顯性等待,WebDriverWait,配合該類的until()和until_not()方法,就能夠根據判斷條件而進行靈活地等待了。它主要的意思就是:程序每隔xx秒看一眼,如果條件成立了,則執行下一步,否則繼續等待,直到超過設置的最長時間,然後拋出TimeoutException。
先看個代碼示例:
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
driver = webdriver.Firefox()
driver.implicitly_wait(10) # 隱性等待和顯性等待可以同時用,但要註意:等待的最長時間取兩者之中的大者
driver.get(‘https://huilansame.github.io‘)
locator = (By.LINK_TEXT, ‘CSDN‘)
try:
WebDriverWait(driver, 20, 0.5).until(EC.presence_of_element_located(locator))
print driver.find_element_by_link_text(‘CSDN‘).get_attribute(‘href‘)
finally:
driver.close()
上例中,我們設置了隱性等待和顯性等待,在其他操作中,隱性等待起決定性作用,在WebDriverWait..中顯性等待起主要作用,但要註意的是:最長的等待時間取決於兩者之間的大者,此例中為20,如果隱性等待時間 > 顯性等待時間,則該句代碼的最長等待時間等於隱性等待時間。
我們主要用到了WebDriverWait類與expected_conditions模塊,下面博主帶大家細看一下這兩個模塊:
WebDriverWait
wait模塊的WebDriverWait類是顯性等待類,先看下它有哪些參數與方法:
selenium.webdriver.support.wait.WebDriverWait(類)
__init__
driver: 傳入WebDriver實例,即我們上例中的driver
timeout: 超時時間,等待的最長時間(同時要考慮隱性等待時間)
poll_frequency: 調用until或until_not中的方法的間隔時間,默認是0.5秒
ignored_exceptions: 忽略的異常,如果在調用until或until_not的過程中拋出這個元組中的異常,
則不中斷代碼,繼續等待,如果拋出的是這個元組外的異常,則中斷代碼,拋出異常。默認只有NoSuchElementException。
until
method: 在等待期間,每隔一段時間(__init__中的poll_frequency)調用這個傳入的方法,直到返回值不是False
message: 如果超時,拋出TimeoutException,將message傳入異常
until_not
與until相反,until是當某元素出現或什麽條件成立則繼續執行,
until_not是當某元素消失或什麽條件不成立則繼續執行,參數也相同,不再贅述。
看了以上內容基本上很清楚了,調用方法如下:
WebDriverWait(driver, 超時時長, 調用頻率, 忽略異常).until(可執行方法, 超時時返回的信息)
這裏需要特別註意的是until或until_not中的可執行方法method參數,很多人傳入了WebElement對象,如下:
WebDriverWait(driver, 10).until(driver.find_element_by_id(‘kw‘)) # 錯誤
這是錯誤的用法,這裏的參數一定要是可以調用的,即這個對象一定有 __call__()
方法,否則會拋出異常:
TypeError: ‘xxx‘ object is not callable
在這裏,你可以用selenium提供的 expected_conditions
模塊中的各種條件,也可以用WebElement的 is_displayed()
、is_enabled()
、is_selected()
方法,或者用自己封裝的方法都可以,那麽接下來我們看一下selenium提供的條件有哪些:
expected_conditions
expected_conditions是selenium的一個模塊,其中包含一系列可用於判斷的條件:
selenium.webdriver.support.expected_conditions(模塊)
以下兩個條件類驗證title,驗證傳入的參數title是否等於或包含於driver.title
title_is
title_contains
以下兩個條件驗證元素是否出現,傳入的參數都是元組類型的locator,如(By.ID, ‘kw’)
顧名思義,一個只要一個符合條件的元素加載出來就通過;另一個必須所有符合條件的元素都加載出來才行
presence_of_element_located
presence_of_all_elements_located
以下三個條件驗證元素是否可見,前兩個傳入參數是元組類型的locator,第三個傳入WebElement
第一個和第三個其實質是一樣的
visibility_of_element_located
invisibility_of_element_located
visibility_of
以下兩個條件判斷某段文本是否出現在某元素中,一個判斷元素的text,一個判斷元素的value
text_to_be_present_in_element
text_to_be_present_in_element_value
以下條件判斷frame是否可切入,可傳入locator元組或者直接傳入定位方式:id、name、index或WebElement
frame_to_be_available_and_switch_to_it
以下條件判斷是否有alert出現
alert_is_present
以下條件判斷元素是否可點擊,傳入locator
element_to_be_clickable
以下四個條件判斷元素是否被選中,第一個條件傳入WebElement對象,第二個傳入locator元組
第三個傳入WebElement對象以及狀態,相等返回True,否則返回False
第四個傳入locator以及狀態,相等返回True,否則返回False
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
最後一個條件判斷一個元素是否仍在DOM中,傳入WebElement對象,可以判斷頁面是否刷新了
staleness_of
上面是所有17個condition,與until、until_not組合能夠實現很多判斷,如果能自己靈活封裝,將會大大提高腳本的穩定性。
Python selenium —— 一定要會用selenium的等待,三種等待方式解讀(轉)