2. 程式人生 > 其它 >Python中xpath解析

Python中xpath解析

阿新 • • 發佈：2022-01-14
目錄

簡介

XPath 是一門在 XML 文件中查詢資訊的語言。XPath 可用來在 XML 文件中對元素和屬性進行遍歷。XPath 是 W3C XSLT 標準的主要元素，並且 XQuery 和 XPointer 都構建於 XPath 表達之上。

安裝

pip install lxml

本文示例的html程式碼

<div>
    <div>
        <ul>
            <li class="item-0">
                <a href="link1.html">first item</a>
            </li>
            <li class="item-1">
                <a href="link2.html">second item</a>
            </li>
        </ul>
    </div>
    <div id="111">
        <div class="item-1">
            <a href="www.qq.com">qq.com</a>
            <p>this is p label</p>
            <ul>
                <li class="item-2">
                    <a href="link1.html">first item1</a>
                </li>
                <li class="item-3">
                    <a href="link2.html">second item2</a>
                </li>
            </ul>
        </div>
        <a href="www.baidu.com">baidu.com</a>
    </div>
</div>

使用

例項化etree

from lxml import etree

# 將本地的html檔案載入etree物件中
html = etree.parse("file_path")
# 將網際網路上獲取的原始碼資料載入到該物件中
html = etree.HTML(resp.text)
result = etree.tostring(html)  # 格式化html程式碼

xpth表示式

定位

根據層級定位

  1. / ：表示從根節點開始定位
  2. // ：表示多個層級，可以從任意位置開始定位
  3. ./：從當前位置開始定位

根據屬性進行定位

text = html.xpath("/div[1]//li[@class='item-0']")

根據id進行定位

text = html.xpath("//div[@id='111']")

根據索引號進行定位

text = html.xpath("/div/div[1]/ul/li[2]/a/text()")  # 注意xpath索引是從1開始的

取值

獲取文字

  1. 該節點下的直系文字：/text()
  2. 該節點下的所有文字：//text()
from lxml import etree

wb_data = """
<div>
    <div>
        <ul>
            <li class="item-0">
                <a href="link1.html">first item</a>
            </li>
            <li class="item-1">
                <a href="link2.html">second item</a>
            </li>
        </ul>
    </div>
    <div id="111">
        <div class="item-1">
            <a href="www.qq.com">qq.com</a>
            <p>this is p label</p>
            <ul>
                <li class="item-2">
                    <a href="link1.html">first item1</a>
                </li>
                <li class="item-3">
                    <a href="link2.html">second item2</a>
                </li>
            </ul>
        </div>
        <a href="www.baidu.com">baidu.com</a>
    </div>
</div>
"""
html = etree.HTML(wb_data)  # 例項化HTML物件
# 獲取/div/div[2]下面的所有文字內容
text = html.xpath("//div[@id='111']//text()")
print([i.strip() for i in text])  # 去除換行符，空格等
# 獲取/div/div[1]/ul/li[1]/裡面的文字資訊
print(html.xpath("//li[@class='item-0']/a/text()")[0])

獲取屬性

  1. /@屬性名稱：獲取該節點下的直系屬性值
  2. //@屬性名稱：獲取該節點下的所有屬性值
from lxml import etree

wb_data = """
<div>
    <div>
        <ul>
            <li class="item-0">
                <a href="link1.html">first item</a>
            </li>
            <li class="item-1">
                <a href="link2.html">second item</a>
            </li>
        </ul>
    </div>
    <div id="111">
        <div class="item-1">
            <a href="www.qq.com">qq.com</a>
            <p>this is p label</p>
            <ul>
                <li class="item-2">
                    <a href="link1.html">first item1</a>
                </li>
                <li class="item-3">
                    <a href="link2.html">second item2</a>
                </li>
            </ul>
        </div>
        <a href="www.baidu.com">baidu.com</a>
    </div>
</div>
"""
html = etree.HTML(wb_data)  # 例項化HTML物件
# 獲取/div/div[2]/div/下所有的href值
print(html.xpath("//div[@class='item-1']//@href"))
# 獲取/div/div[2]/a下的href值
print(html.xpath("//div[@id='111']/a/@href")[0])

例項

首先自制了一個多執行緒爬蟲模組用於傳送請求，模組名稱為MyModule

import threading, queue

"""爬蟲多執行緒"""


class SpiderThread(threading.Thread):

    def __init__(self) -> "裡面包含了請求頭和代理IP 代理ip自己設定":
        super().__init__(daemon=True)  # daemon執行緒等待，target是執行的函式
        # 開啟佇列物件
        self.queue = queue.Queue()

        # 執行緒
        self.start()  # 例項化的時候自動執行run函式

        try:
            # 構建ip池，此ip地址僅支援http請求
            file = open("./ip.txt", "r")  # 得到大量ip地址，與檔案同一目錄下，儲存http型別的ip池
            ipList = file.readlines()
            file.close()
            import random
            self.ip = random.choice(ipList).strip()
        except Exception as e:
            print(f"沒有批量ip地址，使用本機ip地址{e}")
            import socket
            s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
            s.connect(('8.8.8.8', 80))
            import random
            self.ip = s.getsockname()[0] + f":{random.randint(1, 8080)}"  # 獲取本電腦的ip地址，同時隨機使用埠訪問網址
            s.close()

        # 傳入requests所需要的引數
        self.headers = {
            'User-Agent': "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 96.0.4664 .93 Safari / 537.36"
        }
        self.proxy = {
            "http": f"https://{self.ip}",
            # 注意：如果請求的ip是https型別的，但代理的ip是隻支援http的，那麼還是使用本機的ip，如果請求的ip是http型別的，那麼代理的ip一定要是http的，前面不能寫成https，否則使用本機IP地址
        }

    def run(self) -> None:  # run方法執行緒自帶的方法,內建方法，線上程執行時會自動呼叫
        while True:  # 不斷處理任務
            func, args, kwargs = self.queue.get()
            func(*args, **kwargs)  # 呼叫函式執行任務 元組不定長記得一定要拆包
            self.queue.task_done()  # 解決一個任務就讓計數器減一，避免阻塞

    # 生產者模型
    def submit_task(self, func, args=(), kwargs={}):  # func為要執行的任務，加入不定長引數使用（預設使用預設引數）
        self.queue.put((func, args, kwargs))  # 提交任務

    # 重寫join方法
    def join(self):
        self.queue.join()  # 檢視佇列計時器是否為0 任務為空 為空關閉佇列

        
def crawl(url, lis, cookies=None, headers=SpiderThread().headers,
          proxy=SpiderThread().proxy) -> "lis用來儲存返回的resp響應 其是傳送get請求":  # cookies是一個字典
    import requests
    if not isinstance(cookies, dict):
        resp = requests.get(url=url, headers=headers, proxies=proxy)
    else:
        resp = requests.get(url=url, headers=headers, cookies=cookies)
    if resp.status_code == 200:
        print("獲取完成，返回的資料在傳入的列表裡面")
        lis.append(resp)  # 多執行緒沒有返回值
    else:
        SpiderThread().submit_task(crawl, args=(i, lis))

# 爬取58同城中全國銷售職位的名稱
from lxml import etree
import MyModule
from concurrent.futures import ThreadPoolExecutor

spider = MyModule.SpiderThread()  # 例項化爬蟲物件


"""
通過分析url可得到 url = 'https://nc.58.com/yewu/pu1/?key=%E9%94%80%E5%94%AE'；
又第二頁的        url = 'https://nc.58.com/yewu/pn2/?key=%E9%94%80%E5%94%AE'
"""


# 得到所有頁面的url
def spider1():
    resp = []  # 接收返回的頁面原始碼
    url = "https://nc.58.com/yewu/?key=%E9%94%80%E5%94%AE"
    spider.submit_task(MyModule.crawl, args=(url, resp))
    spider.join()  # 等待執行緒完成
    page_source = resp[0].text  # 得到頁面原始碼
    html = etree.HTML(page_source)  # 例項化etree物件
    num = int(html.xpath("/html/body/div[3]/div[3]/div/div/div/span[2]/text()")[0])  # 通過分析網頁可得該xpath解析
   	return [f"https://nc.58.com/yewu/pn{i}/?key=%E9%94%80%E5%94%AE" for i in range(1， num)]


def crawl():
    respAll = []  # 儲存響應
    for i in spider1():
        spider.submit_task(MyModule.crawl, args=(i, respAll))  # 執行封裝的模組
    spider.join()  # 等待全部執行緒完成
    return [i.text for i in respAll]  # 返回響應原始碼


def save(resp_text):
    html = etree.HTML(resp_text)
    torr = html.xpath("//*[@id='list_con']/li")
    file = open("./a.txt", "a+", encoding="utf-8")  # 寫入檔案
    for i in torr:
        temp = i.xpath("./div[1]//a//text()")
        name = "".join(temp)  # 將名字組裝
        file.write(f"名稱：{name}")
    file.close()

    
def main(respAll):
    with ThreadPoolExecutor(50) as pool:  # 使用執行緒池，開啟50個執行緒，對檔案進行儲存
        pool.map(save, respAll)


if __name__ == '__main__':
    main(crawl())  # 注意：由於是高效能爬蟲，電腦的ip地址很大概率會被58同城封了，儘量使用代理ip

本文來自部落格園，作者：A-L-Kun，轉載請註明原文連結：https://www.cnblogs.com/liuzhongkun/p/15803303.html

相關推薦

Python中xpath解析

目錄簡介安裝本文示例的html程式碼使用例項化etreexpth表示式定位根據層級定位根據屬性進行定位根據id進行定位根據索引號進行定位取值獲取文字獲取屬性例項

python 中xpath爬蟲例項詳解

案例一： 某套圖網站，套圖以封面形式展現在頁面，需要依次點選套圖，點選廣告盤連結，最後到達百度網盤展示頁面。

python爬蟲-xpath解析

前言 xpath解析方式可以說是最常用最便捷高效的一種解析方式了。而且具有很高的通用性。

關於python中的xpath解析定位

爬取的網站：http://jbk.39.net/chancegz/ 這裡只針對個別屬性值： #例如：\'別名\'下的span標籤文字，‘發病部位\'下的span標籤文字以及‘掛號科室‘下的span標籤文字

Python中使用gflags例項及原理解析

這篇文章主要介紹了Python中使用gflags例項及原理解析,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Python中Subprocess的不同函式解析

以前我一直用os.system()處理一些系統管理任務,因為我認為那是執行linux命令最簡單的方式.

python中的RSA加密與解密例項解析

這篇文章主要介紹了python RSA加密與解密實現詳解,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Python中的四種交換數值的方法解析

這篇文章主要介紹了Python中的四種交換數值的方法解析,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

python中的函式遞迴和迭代原理解析

這篇文章主要介紹了python中的函式遞迴和迭代原理解析,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Python中的引用和拷貝例項解析

這篇文章主要介紹了python中的引用和拷貝例項解析,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Python 中 -m 的典型用法、原理解析與發展演變

在命令列中使用 Python 時，它可以接收大約 20 個選項（option），語法格式如下：

python中刪除某個元素的方法解析

這篇文章主要介紹了python中刪除某個元素的方法解析,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

python中對_init_的理解及例項解析

一、self的位置是出現在哪裡？ 首先，self是在類的方法中的，在呼叫此方法時，不用給self賦值，Python會自動給他賦值，而且這個值就是類的例項--物件本身。也可以將self換成別的叫法例如seef，但不建議，因為大家習慣

Python中的list與tuple集合區別解析

Python中內建了list集合與tuple集合，在list集合中可以實現元素的新增、修改、插入、以及刪除。tuple集合看似與list類似，但兩者還是有很大的區別。

在vscode中配置python環境過程解析

1.安裝vscode和python3.7（安裝路徑在：E:\\Python\\Python37）； 2.開啟vscode，在左下角點選設定圖示選擇setting，搜尋python path，在該路徑下選擇python的安裝路徑（E:\\Python\\Python37），如下圖；

python中幾種自動微分庫解析

前言 簡單介紹下python的幾個自動求導工具，tangent、autograd、sympy； 在各種機器學習、深度學習框架中都包含了自動微分，微分主要有這麼四種：手動微分法、數值微分法、符號微分法、自動微分法，這裡分別簡單走馬

Python中的xlrd模組使用原理解析

on裡面的xlrd模組詳解（一） - 瘋了的小蝸 - 部落格園【內容】：> 那我就一下面積個問題對xlrd模組進行學習一下：

解析python 中/ 和 % 和 //（地板除）

python / 和 % 和 //（地板除）用於對資料進行除法運算。 python中 // 和 / 和 % 簡介

python 中easydict庫解析json檔案

easydict的作用：可以使得以屬性的方式去訪問字典的值！ from easydict import EasyDict as edict

python中return不返回值的問題解析

python中return不返回值是因為你沒有將返回的值取出來。 解決方法： 呼叫函式，將函式的返回值賦給一個變數，輸出這個變數就可以看到函式的返回值了