動態頁面的模擬點選：

以鬥魚直播為例：http://www.douyu.com/directory/all

爬取每頁的房間名、直播型別、主播名稱、線上人數等資料，然後模擬點選下一頁，繼續爬取

程式碼如下

#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'
 
"""
動態頁面的模擬點選：
  模擬點選鬥魚直播：http://www.douyu.com/directory/all
  爬取每頁房間名、直播型別、主播名稱、線上人數等資料，然後模擬點選下一頁，繼續爬取
"""
 
from selenium import webdriver
import json
 
# 呼叫環境變數指定的PhantomJS瀏覽器建立瀏覽器物件，executable_path：指定PhantomJS位置
driver = webdriver.PhantomJS(executable_path = r"D:\Program Files\phantomjs\bin\phantomjs")
from bs4 import BeautifulSoup
 
class DouyuSpider(object):
  """
  爬蟲類
  """
  def __init__(self):
    self.url = "http://www.douyu.com/directory/all/"
    self.driver = webdriver.PhantomJS()
    self.file_name = open("douyu.json","w",encoding = "utf-8")
 
  def run(self):
    """
    爬蟲開始工作
    """
    self.driver.get(self.url)
    # 迴圈處理每一頁，直至最後一頁
    page = 1
    start_flag = True
    while True:
      # 等待3秒，防止訪問過於頻繁
      self.driver.implicitly_wait(3)
      print("正在處理第" + page + "頁......")
      page += 1
      # 解析
      soup = BeautifulSoup(self.driver.page_source,"lxml")
      # 線上直播部分
      online_live = soup.find_all('ul',{'id': 'live-list-contentbox'})[0]
      # 房間列表
      live_list = online_live.find_all('li')
      # 處理每一個房間
      for live in live_list:
        # 房間名、直播型別、主播名稱、線上人數
        # 房間名
        home_name = live.find_all('h3',{'class': 'ellipsis'})[0].get_text().strip()
        # 直播型別
        live_type = live.find_all('span',{'class': 'tag ellipsis'})[0].get_text().strip()
        # 主播名稱
        anchor_name = live.find_all('span',{'class': 'dy-name ellipsis fl'})[0].get_text().strip()
        # 線上人數
        online_num = live.find_all('span',{'class' :'dy-num fr'})[0].get_text().strip()
        # print(home_name,live_type,anchor_name,online_num)
        item = {}
        item["房間名"] = home_name
        item["直播型別"] = live_type
        item["主播名稱"] = anchor_name
        item["線上人數"] = online_num
        if start_flag:
          start_flag = False
          content = "[\n" + json.dumps(item)
        else:
          content = ",\n" + json.dumps(item)
        self.file_name.write(content)
      # page_source.find()未找到內容則返回-1
      if self.driver.page_source.find('shark-pager-disable-next') != -1:
        # 已到最後一頁
        break
      # 模擬點選下一頁
      self.driver.find_element_by_class_name('shark-pager-next').click()
 
    # 爬蟲結束前關閉檔案
    self.file_name.write("\n]")
    self.file_name.close()
if __name__ == '__main__':
  douyu = DouyuSpider()
  douyu.run()

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。