Selenium

Selenium是一個Web的自動化測試工具，最初是為網站自動化測試而開發的，型別像我們玩遊戲用的按鍵精靈，可以按指定的命令自動操作，不同是Selenium 可以直接執行在瀏覽器上，它支援所有主流的瀏覽器（包括PhantomJS這些無介面的瀏覽器）。可以根據我們的指令，讓瀏覽器自動載入頁面，獲取需要的資料，甚至頁面截圖，或者判斷網站上某些動作是否發生。

Selenium 自己不帶瀏覽器，不支援瀏覽器的功能，它需要與第三方瀏覽器結合在一起才能使用。但是我們有時候需要讓它內嵌在程式碼中執行，所以我們可以用一個叫 PhantomJS 的工具代替真實的瀏覽器。

可以用 第三方管理器 pip用命令安裝：sudo pip install selenium

PhantomJS

PhantomJS 是一個基於Webkit的“無介面”(headless)瀏覽器，它會把網站載入到記憶體並執行頁面上的 JavaScript，因為不會展示圖形介面，所以執行起來比完整的瀏覽器要高效。

如果我們把 Selenium 和 PhantomJS 結合在一起，就可以執行一個非常強大的網路爬蟲了，這個爬蟲可以處理 JavaScrip、Cookie、headers，以及任何我們真實使用者需要做的事情。

註釋:

PhantomJS 是一個功能完善(雖然無介面)的瀏覽器而非一個 Python 庫，所以它不需要像 Python 的其他庫一樣安裝，但我們可以通過Selenium呼叫PhantomJS來直接使用。

PhantomJS 官方參考文件：http://phantomjs.org/documentation

例項程式碼:

from selenium import webdriver

driver = webdriver.PhantomJS()

driver.get("http://www.baidu.com/")

data = driver.find_element_by_id("wrapper").text

# 列印資料內容
print data

# 列印頁面標題 "百度一下，你就知道"
print driver.title

driver.save_screenshot("baidu.png")

# id="kw"是百度搜索輸入框，輸入字串"長城"
driver.find_element_by_id("kw").send_keys(u"長城")

# id="su"是百度搜索按鈕，click() 是模擬點選
driver.find_element_by_id("su").click()

# 獲取新的頁面快照
driver.save_screenshot("長城.png")

print driver.page_source

print driver.get_cookies()

from selenium.webdriver.common.keys import Keys


driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')

driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')

driver.find_element_by_id("kw").send_keys("itcast")

# 模擬Enter回車鍵
driver.find_element_by_id("su").send_keys(Keys.RETURN)

# 清除輸入框內容
driver.find_element_by_id("kw").clear()

# 生成新的頁面快照
driver.save_screenshot("itcast.png")

print driver.current_url

# 關閉當前頁面，如果只有一個頁面，會關閉瀏覽器
# driver.close()

# 關閉瀏覽器
driver.quit()