preface：最近的任務，還是爬微博。之前的用不上，post提交，還是不太熟悉，模擬登陸不了，故換種方式，用selenium模擬登陸，從此任何登入以及js呼叫都是浮雲，我模擬登入分分鐘解決。之前的時而有用，時而沒用，不穩定，寫得不夠魯棒。但這次，真能夠抓取微博，表示還是有點進步的。

主要任務是通過搜尋關鍵詞，爬取跟關鍵詞有關的微博。

主要流程：

1. 用selenium模擬滑鼠鍵盤登入；
2. 模擬點搜尋框，輸入搜尋關鍵詞；
3. 儲存當頁html，模擬點選下一頁；
4. 直到沒有下一頁，處理儲存下來的html(也可在上一步直接提取，不儲存到當地)，提取微博<p></p>之間的內容(若有展開全文形式的微博沒有處理)；

效果：

具體效果跟真實點選效果一致，不過若是爬取太多次，會導致驗證問題，此時，可能需要換個賬號登入重新爬了。所以說，注意延時，time.sleep()，保證網速載入比較快比較重要。

coding：

# -*- coding: utf-8 -*-
import os

import time
import logging
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from bs4 import BeautifulSoup as bs
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
'''
0.安裝火狐
1.安裝selenium，可通過pip安裝：pip install selenium
2.程式裡面改三處：使用者名稱、密碼、搜過的關鍵詞search_text
3.需要手動輸入驗證碼，並且驗證碼大小寫敏感，若是輸錯了，等3秒再輸入。
4.爬下來了，用BeautifulSoup提取,並且將相同文字的放在一起，並且排序

時間：5秒一個，不可縮短，不然載入不出來下一頁這個按鈕，然後程式就掛了，若網速快些，延時可以短些。
'''
#username_  = "你自己的微博號"
#password_  = "密碼"
#logging.basicConfig(level=logging.DEBUG)
logging.basicConfig(level=logging.INFO)
    
browser = webdriver.Firefox()
href = 'http://s.weibo.com/'
browser.get(href)
time.sleep(2)
    
# 右上登陸
login_btn = browser.find_element_by_xpath('//a[@node-type="loginBtn"]')
login_btn.click()
time.sleep(3)
    
# 選擇賬號登入
name_login = browser.find_element_by_xpath('//a[@action-data="tabname=login"]')
name_login.click()
time.sleep(2)
    
# 輸入使用者名稱,密碼
username = browser.find_element_by_xpath('//input[@node-type="username"]')
password = browser.find_element_by_xpath('//input[@node-type="password"]')
username.clear()
username.send_keys(username_)
password.clear()
password.send_keys(password_)
    
# 提交登陸
sub_btn = browser.find_element_by_xpath('//a[@suda-data="key=tblog_weibologin3&value=click_sign"]')
sub_btn.click()
    
while True:
    try:
        verify_img = browser.find_element_by_xpath('//img[@node-type="verifycode_image"]')
    except NoSuchElementException:
        break
    if verify_img:
        # 輸入驗證碼
        verify_code = browser.find_element_by_xpath('//input[@node-type="verifycode"]')
        verify_code_ = raw_input('verify_code > ')
        verify_code.clear()
        verify_code.send_keys(verify_code_)

        # 提交登陸
        sub_btn = browser.find_element_by_xpath('//a[@suda-data="key=tblog_weibologin3&value=click_sign"]')
        sub_btn.click()
        time.sleep(2)
    else:
        break
#===============================以上這部分的登陸，放在函式裡面返回browser出錯，需要單獨拿出來========================
def get_weibo_search(search_text, browser):
    search_form.send_keys(search_text.decode('utf-8'))#將關鍵詞送到搜尋欄中，進行搜尋
    # 點選搜尋
    search_btn = browser.find_element_by_xpath('//a[@class="searchBtn"]')
    search_btn.click()
    time.sleep(3)#進入迴圈之前，讓第一頁先載入完全。
    # 這塊可以得到具體的網頁資訊
    count = 1
    logging.info('try download html for : {}'.format(search_text.encode("gbk")))
    
    topics_name = search_text.encode("gbk")
    topics_name = topics_name.replace(" ","_")#將名字裡面的空格換位_
    os_path = os.getcwd()
    key_dir = os.path.join(os_path,topics_name)
    if not os.path.isdir(key_dir):
        os.mkdir(key_dir)
    while True:
        # 儲存網頁    
        file_name = topics_name+os.sep+'{}_{}.html'.format(topics_name, count)
        with open(file_name, 'w') as f:
            f.write(browser.page_source)
        logging.info('for page {}'.format(count))
    
        try:
            next_page = browser.find_element_by_css_selector('a.next')
            #next_page = browser.find_element_by_xpath('//a[@class="page next S_txt1 S_line1"]')
            time.sleep(1)
            next_page.click()#有的時候需要手動按F5重新整理，不然等太久依然還是出不來，程式就會掛，略脆弱。
            count += 1
            time.sleep(5)#完成一輪之前，儲存之前，先讓其載入完，再儲存
        except Exception,e:#異常這裡，跑一次，跳出，跑多個query,斷了一個query後，下個繼續不了，還需優化
            logging.error(e)
            break
#======================================================
def get_weibo_text(file_name):#將html檔案裡面的<p></p>標籤的內容提取出來
    text = []
    soup = bs(open(file_name))
    items = soup.find_all("div",class_="WB_cardwrap S_bg2 clearfix")
    if not items:
        text = []
    for item in items:
        line = item.find("p").get_text()
        #print line
        text.append(line)
    return text
    
def get_weibo_all_page(path, file_names):#將<span style="font-family: Arial, Helvetica, sans-serif;">資料夾下所有檔案裡提取出來微博的合併起來</span>
    texts_all = []
    for file_name in file_names:
        #print file_name,
        texts = get_weibo_text(path+os.sep+file_name)
        #print len(texts)
        for text in texts:
            text = text.replace("\t","")
            text = text.strip("\n")
            text = text.strip(" ")
            if text in texts_all:#若是重了，不加入到裡面
                pass
            else:
                texts_all.append(text)
    return texts_all

def get_results_weibo(weibos_name):#合併若干個資料夾下提取出來的微博
    texts = []
    for file_name in weibos_name:
        with open(file_name) as f:
            text = f.readlines()
            for line in text:
                line = line.strip("\n")
                if line not in texts:
                    texts.append(line)
    return texts
#==================
if __name__=="__main__":
    try:
        #browser = login()
        # 進行搜尋
        search_form = browser.find_element_by_xpath('//input[@class="searchInp_form"]')
        search_form.clear()
        searchs_text = ["火影忍者","火影忍者 雛田","火影忍者 小櫻"]
        for search_text in searchs_text:
            get_weibo_search(search_text, browser)
            #======
            path = search_text.encode("gbk")
            path = path.replace(" ","_")#資料夾路徑裡面若有空格，替換為下滑線
            
            file_names = os.listdir(path)
            texts_all = get_weibo_all_page(path, file_names)
            
            texts_all_sorted = sorted(texts_all)
            weibo_text_name = path+"_weibos.txt"
            f = open(weibo_text_name,"w")
            for text in texts_all_sorted:
                f.write(text+"\n")
            f.close()
    except Exception,e:
        print e
    #============將幾個_weibos.txt檔案合併到一起
    print "together:"
    file_names_weibos = [i for i in os.listdir(os.getcwd()) if i.endswith("_weibos.txt")]
    texts = get_results_weibo(file_names_weibos)
    f = open("results.txt","w")
    for text in sorted(texts):
        f.write(text+"\n")
    f.close()
 

轉載請註明來源：http://blog.csdn.net/u010454729?viewmode=list