機器能做的事就別讓人來做！

目標： 抓取特定微信公眾號文章

思路：利用selenium模擬瀏覽器行為，進行抓取（理由：搜狗已將文章連結進行處理，且頁面為動態生成）

框架：

步驟：

1、登入搜狗

　　a、找到登入按鈕並點選

　　self.browser.find_element_by_id("loginbtn").click()
   　　此時產生一個登入的iframe，其中還巢狀一個iframe，都是動態生成的，內嵌於該頁面的另一個新的html頁面，我們需要
   定位到第二個iframe才能進行真正的登入操作
  
　　b、定位到登入介面的實際iframe

　　self.browser.switch_to.frame(0)
　　time.sleep(10)
　　self.browser.switch_to.frame("ptlogin_iframe")    // ptlogin_iframe為實際登入介面的iframe
  
　　c、 實現qq快捷登入
　　利用qq實現快速登入，前提是你已登入自己的qq賬號，然後在頁面直接點選你的qq頭像即可實現登入操作。當然，你也可以通過賬號／密碼實現登入。

　　self.browser.find_element_by_id("qlogin_list").find_element_by_xpath("a").click()  // 找到你的qq頭像對應的元素位置並點選

2、抓取文章
　　搜狗頁面呈現方式：

抓取資料格式：
　　標題， 概要資訊， 釋出時間， 圖片url， 文章實際url
通過審查元素，我們看一下每個文章在頁面原始碼中的表現形式，如下圖：

　　href連結到的是文章正文頁，但是該連結並非文章的實際連結地址，因此我們需要點選該連結到文章正文頁面獲取其真實連結。
其他元資料資訊則可由頁面直接獲取。具體獲取方法，即通過find_element定位到相應元素，獲取元素text資訊，此處不再
贅述。
　　說明一下獲取文章實際url，可通過點選文章標題或圖片跳轉到文章頁面，此時會新產生一個視窗，我們需要切換到該窗
口，才能獲取到當前的視窗URL，然後再切換回原來的視窗，繼續下一個文章元資料的抓取過程，具體操作如下：
　　

 1 def get_target_url(self, no):
 2         """
 3          get real url(without encryption) of target page
 4         :param no: NO.
 5         :return target_url:
 6         :Usage:
 7         """
 8         box_a = self.get_box(no).find_element_by_xpath("div[@class='txt-box']//h4//a")       # 找到標題元素並點選
 

 9         current_handle = self.browser.current_window_handle   ＃ 保留當前視窗控制代碼
10         box_a.click()
11         for handle in self.browser.window_handles:
12             if handle == current_handle:
13                 continue
14             else:
15                 ＃ 切換到文章正文視窗，獲取url後關閉，並回到主視窗
16                 self.browser.switch_to_window(handle)
17                 target_url = self.browser.current_url
18                 self.browser.close()
19                 self.browser.switch_to_window(current_handle)
20                 return target_url    

3、抓取更多文章

    初始頁面預設呈現10篇文章，點選頁面底部“檢視更多”可獲得更多文章，每次10篇，若到達最後，則不再出現“檢視更多”。具體做法：

審查元素獲取“檢視更多”並點選，每個文章對應一個div,其ID形式如“sogou_vr_11002601_box_0”，末尾的0是編號，順序遞增，檢視

更多後，可通過該ID值獲取最新出現的文章。

1 def get_more(self):
 2         try:
 3             more = self.browser.find_element_by_class_name("p-more")
 4             if more.get_attribute("style") == "visibility: hidden;":
 5                 return False
 6             else:
 7                 more.find_element_by_xpath("a").click()
 8                 return True
 9         except Exception, e:
10             print e.message