作業系統：win10 專業版

pycharm professional 2019.1
python 3.8
lxml == 4.5.1
requests == 2.23.0
xpath == 2.0.2
02、開始爬蟲
02-1、目標
糗事百科的頁面全部標題！最後以列印的方式展現！
地址：

頁面一共是1-13頁

02-2、開始抓取內容
02-2-1、分析
在這裡插入圖片描述
圖片中的資料就是我們需要獲取的。用xpath這一個獲取到了全部我們需要的！
對於url地址就是1----13這一個簡單處理，其他都是簡單的爬蟲流程，不再贅述！具體看程式碼的註釋吧！
再看一哈思路！

“”"
思路：
1.構建url地址
2.傳送請求獲取資料
3.從響應中提取資料
4.儲存資料
“”"

我們直接寫程式碼了！

03、完整程式碼(面向物件版)
import requests
from lxml import etree

"""
思路：
1.構建url地址
2.傳送請求獲取資料
3.從響應中提取資料
4.儲存資料
"""
class Qiushi():
"""糗事百科單執行緒爬蟲"""
def init(self):
# 初始化資訊
# 構建請求頭
self.headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36"
}
# 構建基礎的url地址
self.baseutl= '

https://www.qiushibaike.com/8hr/page/{}/'

# 構建url地址
def get_utls(self):
	"""
    :return: 目標url列表
    """
    # 一共13頁
    url_list = [self.baseutl.format(urlpage) for urlpage in range(1,14)]
    return url_list

# 傳送請求，獲得響應資料
def get_html(self,url):
	"""
    :param url: 目標url地址
    :return: 響應html資料
    """
    response = requests.get(url=url,headers=self.headers)
    return response.content.decode()

# 從響應中獲取資料
def get_content(self,response):
	"""
    :param html: html資料
    :return: 標題列表
    """
    # 1.建立etree物件
    html = etree.HTML(response)
    # 2.使用xpath規則提取資料
    res_list = html.xpath("//li//a[@class='recmd-content']/text()")
    return res_list
# 儲存資料
def save(self,restitle):
    for item in restitle:
        print(item)
    # print(restitle)
# 執行程式
def run(self):
	# 1.獲取url地址
    url_list = self.get_utls()
    for url in url_list:
    	# 2.傳送請求
        response = self.get_html(url)
		# 3.提取響應中的內容
        restitle = self.get_content(response)
        # 4.儲存資料
        self.save(restitle)
        # print(restitle)

爬蟲爬取糗事百科標題燒烤醬到合肥jksdhgf

作業系統：win10 專業版

頁面一共是1-13頁

爬蟲爬取糗事百科標題燒烤醬到合肥jksdhgf

Python爬蟲爬取糗事百科段子例項分享

爬蟲筆記（三）爬取‘糗事百科’熱圖板塊所有圖

爬取糗事百科段子

Python爬取糗事百科視訊

Python批量爬取糗事百科短視訊，有意思的視訊還是蠻多的

爬取糗事小百科上的視訊

python爬蟲爬取百度百科資料

爬蟲實戰：嗅事百科段子多頁爬取

Python爬蟲——爬取Python崗位的那些事

爬蟲-Scrapy（二）爬取糗百笑話-單頁

Python爬蟲爬取ECVA論文標題、作者、連結

python爬蟲爬取CVPR2021論文標題和簡介

Python3實現的爬蟲爬取資料並存入mysql資料庫操作示例

Python爬蟲爬取煎蛋網圖片程式碼例項

python爬蟲爬取筆趣網小說網站過程圖解

python爬蟲爬取幽默笑話網站

Python爬蟲爬取Bilibili彈幕過程解析

python爬蟲爬取監控教務系統的思路詳解

Python爬蟲爬取電影票房資料及圖表展示操作示例

爬蟲爬取糗事百科標題燒烤醬到合肥jksdhgf

作業系統：win10 專業版

頁面一共是1-13頁

相關推薦