利用selenium來進行爬取資料

import time
from selenium import webdriver

# 建立phantomjs瀏覽器物件
driver = webdriver.PhantomJS()
# 向網站傳送請求
driver.get("http://www.baidu.com/")
# 列印響應html原始碼
print(driver.page_source)
# 檢視原始碼中是否有搜尋兩個字，失敗返回-1，成功非-1
print(driver.page_source.find("搜尋"))
# 向百度搜索框傳送內容
driver.find_element_by_id("
 
kw").send_keys("拉勾")
# 點選搜尋按鈕
driver.find_element_by_id("su").click()
# 為了得到一張完整的圖片，因此新增延時
time.sleep(2)
# 獲取記憶體中網頁中的截圖
driver.save_screenshot("拉勾.png")
# 關閉瀏覽器
driver.quit()

如果要用chrome瀏覽器的話，則將瀏覽器物件改為Chrome就可以

driver = webdriver.Chrome()

還有好多方法，檢視文件即可：https://python-selenium-zh.readthedocs.io/zh_CN/latest/