from selenium import webdriver
from scrapy.selector import Selector
import time

#1、selenium獲取頁面元素
# browser = webdriver.Chrome(executable_path="D:/browserexe/chromedriver.exe")
# browser.get("https://item.taobao.com/item.htm?spm=a310p.7395725.1998460392.1.ffca6c0NXDhB5&id=549869514793") #執行瀏覽器
# page_source = browser.page_source  #相當於“瀏覽器f12”，普通爬蟲獲取的原始碼是相當於直接獲取網頁原始碼，所以js動態新增的內容不會被獲取到，但是通過這種方式f12，會獲取到js動態新增的
 
# t_selector = Selector(text=page_source)#頁面元素提取能用scrapy儘量用，不能用在用selenium，因為scrapy速度更快
# print(t_selector.css('#J_PromoPriceNum::text').extract_first()) #獲取頁面js動態新增上去的價格
# browser.quit()
#2、selenium模擬知乎登陸
# browser = webdriver.Chrome(executable_path="D:/browserexe/chromedriver.exe")
# browser.get("https://www.zhihu.com/#signin")
 
# browser.find_element_by_css_selector('.signin-switch-password').click() #點選使用密碼登陸
# browser.find_element_by_name('account').send_keys('username') #輸入賬號
# browser.find_element_by_name('password').send_keys('password')#輸入密碼
# time.sleep(6) #等待輸入驗證碼
# browser.find_element_by_css_selector(".view-signin button.sign-button").click()
 
# browser.quit()
#3、selenium模擬微博登陸
# browser = webdriver.Chrome(executable_path="D:/browserexe/chromedriver.exe")
# browser.get("http://weibo.com/login.php")
# time.sleep(2)#防止頁面未載入完成，就直接去查詢元素找不到的情況
# browser.find_element_by_id('loginname').send_keys('13247629622')
# browser.find_element_by_css_selector('.info_list .input_wrap  input[name="password"]').send_keys('lxj546630576.')
# browser.find_element_by_css_selector('.info_list a[action-type="btn_submit"]').click()
# #滑鼠下滑載入
# for i in range(3): #下滑三次
#     browser.execute_script('window.scrollTo(0,document.body.scrollHeight);var leftOfPage = document.body.scrollHeight;return leftOfPage;') #執行js程式碼
#     time.sleep(2)
#4、設定selenium不載入圖片
# chrome_opt = webdriver.ChromeOptions()
# prefs = {"profile.managed_default_content_settings.images":2}
# chrome_opt.add_experimental_option("prefs", prefs)
# browser = webdriver.Chrome(executable_path="D:/browserexe/chromedriver.exe",chrome_options=chrome_opt)
# browser.get("https://www.taobao.com")
#5、phantomjs（不推薦使用）, 無介面的瀏覽器， 多程序情況下phantomjs效能會下降很嚴重
#下載phantomjs驅動
browser = webdriver.PhantomJS(executable_path="D:/browserexe/phantomjs.exe")
browser.get("https://detail.tmall.com/item.htm?spm=a230r.1.14.3.yYBVG6&id=538286972599&cm_id=140105335569ed55e27b&abbucket=15&sku_properties=10004:709990523;5919063:6536025")
print (browser.page_source)
browser.quit()


#6、將selenium整合scrapy中
#6.1 middlewares中新增
from scrapy.http import HtmlResponse
class JSPageMiddleware(object):
#通過chrome請求動態網頁
def process_request(self, request, spider):
if spider.name == "jobbole":
# browser = webdriver.Chrome(executable_path="D:/Temp/chromedriver.exe")
spider.browser.get(request.url)
            import time
            time.sleep(3)
            print ("訪問:{0}".format(request.url))
            #不需要放到下載器，去下載頁面，直接renturn
return HtmlResponse(url=spider.browser.current_url, body=spider.browser.page_source, encoding="utf-8", request=request)
#6.2 spiders中新增
# from scrapy.xlib.pydispatch import dispatcher
# from scrapy import signals
# def __init__(self):
      # 初始化時候，給爬蟲新開一個瀏覽器
#       self.browser = webdriver.Chrome(executable_path="D:/Temp/chromedriver.exe")
#       super(JobboleSpider, self).__init__()
#       dispatcher.connect(self.spider_closed, signals.spider_closed)#第二個引數是訊號（spider_closed:爬蟲關閉訊號，訊號量有很多）,第一個引數是當執行第二個引數訊號時候要執行的方法
#
#   def spider_closed(self, spider):
#       #當爬蟲退出的時候關閉chrome
#       print ("spider closed")
#       self.browser.quit()
#7、不顯示瀏覽器介面（不作為重點）
# from pyvirtualdisplay import Display
# display = Display(visible=0, size=(800, 600))  #visible瀏覽器不顯示,windows下不支援，如果出錯“no such file or directory”:pip install xvfbwrapper(xvfb)
# display.start()
#
# browser = webdriver.Chrome()
# browser.get()