Python爬蟲爬取微信朋友圈
接下來,我們將實現微信朋友圈的爬取。
如果直接用 Charles 或 mitmproxy 來監聽微信朋友圈的介面資料,這是無法實現爬取的,因為資料都是被加密的。而 Appium 不同,Appium 作為一個自動化測試工具可以直接模擬 App 的操作並可以獲取當前所見的內容。所以只要 App 顯示了內容,我們就可以用 Appium 抓取下來。
1. 本節目標
本節我們以 Android 平臺為例,實現抓取微信朋友圈的動態資訊。動態資訊包括好友暱稱、正文、釋出日期。其中釋出日期還需要進行轉換,如日期顯示為 1 小時前,則時間轉換為今天,最後動態資訊儲存到 MongoDB。
2. 準備工作
請確保 PC 已經安裝好 Appium、Android 開發環境和 Python 版本的 Appium API。Android 手機安裝好微信 App、PyMongo 庫,安裝 MongoDB 並執行其服務,安裝方法可以參考第 1 章。
3. 初始化
首先新建一個 Moments 類,進行一些初始化配置,如下所示:
PLATFORM = 'Android' DEVICE_NAME = 'MI_NOTE_Pro' APP_PACKAGE = 'com.tencent.mm' APP_ACTIVITY = '.ui.LauncherUI' DRIVER_SERVER = 'http://localhost:4723/wd/hub' TIMEOUT = 300 MONGO_URL = 'localhost' MONGO_DB = 'moments' MONGO_COLLECTION = 'moments' class Moments(): def __init__(self): """初始化""" # 驅動配置 self.desired_caps = { 'platformName': PLATFORM,'deviceName': DEVICE_NAME,'appPackage': APP_PACKAGE,'appActivity': APP_ACTIVITY } self.driver = webdriver.Remote(DRIVER_SERVER,self.desired_caps) self.wait = WebDriverWait(self.driver,TIMEOUT) self.client = MongoClient(MONGO_URL) self.db = self.client[MONGO_DB] self.collection = self.db[MONGO_COLLECTION]
這裡實現了一些初始化配置,如驅動的配置、延時等待配置、MongoDB 連線配置等。
4. 模擬登入
接下來要做的就是登入微信。點選登入按鈕,輸入使用者名稱、密碼,提交登入即可。實現樣例如下所示:
def login(self): # 登入按鈕 login = self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/cjk'))) login.click() # 手機輸入 phone = self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/h2'))) phone.set_text(USERNAME) # 下一步 next = self.wait.until(EC.element_to_be_clickable((By.ID,'com.tencent.mm:id/adj'))) next.click() # 密碼 password = self.wait.until(EC.presence_of_element_located((By.XPATH,'//*[@resource-id="com.tencent.mm:id/h2"][1]'))) password.set_text(PASSWORD) # 提交 submit = self.wait.until(EC.element_to_be_clickable((By.ID,'com.tencent.mm:id/adj'))) submit.click()
這裡依次實現了一些點選和輸入操作,思路比較簡單。對於不同的平臺和版本來說,流程可能不太一致,這裡僅作參考。
登入完成之後,進入朋友圈的頁面。選中朋友圈所在的選項卡,點選朋友圈按鈕,即可進入朋友圈,程式碼實現如下所示:
def enter(self): # 選項卡 tab = self.wait.until(EC.presence_of_element_located((By.XPATH,'//*[@resource-id="com.tencent.mm:id/bw3"][3]'))) tab.click() # 朋友圈 moments = self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/atz'))) moments.click()
抓取工作正式開始。
5. 抓取動態
我們知道朋友圈可以一直拖動、不斷重新整理,所以這裡需要模擬一個無限拖動的操作,如下所示:
# 滑動點 FLICK_START_X = 300 FLICK_START_Y = 300 FLICK_DISTANCE = 700 def crawl(self): while True: # 上滑 self.driver.swipe(FLICK_START_X,FLICK_START_Y + FLICK_DISTANCE,FLICK_START_X,FLICK_START_Y)
我們利用 swipe() 方法,傳入起始和終止點實現拖動,加入無限迴圈實現無限拖動。
獲取當前顯示的朋友圈的每條狀態對應的區塊元素,遍歷每個區塊元素,再獲取內部顯示的使用者名稱、正文和釋出時間,程式碼實現如下所示:
# 當前頁面顯示的所有狀態 items = self.wait.until( EC.presence_of_all_elements_located((By.XPATH,'//*[@resource-id="com.tencent.mm:id/cve"]//android.widget.FrameLayout'))) # 遍歷每條狀態 for item in items: try: # 暱稱 nickname = item.find_element_by_id('com.tencent.mm:id/aig').get_attribute('text') # 正文 content = item.find_element_by_id('com.tencent.mm:id/cwm').get_attribute('text') # 日期 date = item.find_element_by_id('com.tencent.mm:id/crh').get_attribute('text') # 處理日期 date = self.processor.date(date) print(nickname,content,date) data = { 'nickname': nickname,'content': content,'date': date,} except NoSuchElementException: pass
這裡遍歷每條狀態,再呼叫 find_element_by_id() 方法獲取暱稱、正文、釋出日期對應的元素,然後通過 get_attribute() 方法獲取內容。這樣我們就成功獲取到朋友圈的每條動態資訊。
針對日期的處理,我們呼叫了一個 Processor 類的 date() 處理方法,該方法實現如下所示:
def date(self,datetime): """ 處理時間 :param datetime: 原始時間 :return: 處理後時間 """ if re.match('d + 分鐘前 ',datetime): minute = re.match('(d+)',datetime).group(1) datetime = time.strftime('% Y-% m-% d',time.localtime(time.time() - float(minute) * 60)) if re.match('d + 小時前 ',datetime): hour = re.match('(d+)',time.localtime(time.time() - float(hour) * 60 * 60)) if re.match(' 昨天 ',datetime): datetime = time.strftime('% Y-% m-% d',time.localtime(time.time() - 24 * 60 * 60)) if re.match('d + 天前 ',datetime): day = re.match('(d+)',time.localtime(time.time()) - float(day) * 24 * 60 * 60) return datetime
這個方法使用了正則匹配的方法來提取時間中的具體數值,再利用時間轉換函式實現時間的轉換。例如時間是 5 分鐘前,這個方法先將 5 提取出來,用當前時間戳減去 300 即可得到釋出時間的時間戳,然後再轉化為標準時間即可。
最後呼叫 MongoDB 的 API 來實現爬取結果的儲存。為了去除重複,這裡呼叫了 update() 方法,實現如下所示:
self.collection.update({'nickname': nickname,'content': content},{'$set': data},True)
首先根據暱稱和正文來查詢資訊,如果資訊不存在,則插入資料,否則更新資料。這個操作的關鍵點是第三個引數 True,此引數設定為 True,這可以實現存在即更新、不存在則插入的操作。
最後實現一個入口方法呼叫以上的幾個方法。呼叫此方法即可開始爬取,程式碼實現如下所示:
def main(self): # 登入 self.login() # 進入朋友圈 self.enter() # 爬取 self.crawl()
這樣我們就完成了整個朋友圈的爬蟲。程式碼執行之後,手機微信便會啟動,並且可以成功進入到朋友圈然後一直不斷執行拖動過程。控制檯輸出相應的爬取結果,結果被成功儲存到 MongoDB 資料庫中。
6. 結果檢視
我們到 MongoDB 中檢視爬取結果,如圖所示。
可以看到朋友圈的資料就成功儲存到了資料庫。
7. 本節程式碼
8. 結語
以上內容是利用 Appium 爬取微信朋友圈的過程。利用 Appium,我們可以做到 App 的可見即可爬,也可以實現自動化驅動和資料爬取。但是實際執行之後,Appium 的解析比較煩瑣,而且容易發生重複和中斷。如果我們可以用前文所說的 mitmdump 來監聽 App 資料實時處理,而 Appium 只負責自動化驅動,它們各負其責,那麼整個爬取效率和解析效率就會高很多。
以上就是Python爬蟲爬取微信朋友圈的詳細內容,更多關於Python爬取微信朋友圈的資料請關注我們其它相關文章!